6-7-фигурный эндшпильный генератор готов (Страница 1 из 4)

Цель была такая - написать 6-7-фигурный генератор, и оптимизировать его по максимуму.  А то 7-фигурного сейчас вообще нигде нет, а 6-фигурный вроде есть, но для него нет хорошего интерфейса и он не под Windows.  Я написал под Windows.

Формат tb - это мой формат, пока он работает только в моем анализаторе.  У меня нету форматов Налимова, Томпсона, Шреддера и т.д. Если бы я их знал, то мог бы переписать в любой формат. Т.к. я их не знаю,  записываю базы в свой tb.  Но у кого есть программы, с помощью которых можно анализировать базы, например, в формате Налимова, можно переписать их из моего в тот. Для этого я и создал еще кроме анализатора - свой dll.  Он позволит программам вынимать оценки для позиций из базы.

Отредактировано Skipper_NORTON (03/11/2008 11:49:21)

6-ти фигурки весят ~1230Gb. Их генерили несколько лет на мощном компе. Последний файл был сгенерирован в начале августа 2006 года, если мне не изменяет память. 5-1 окончания никто не генерил и никто генерить не будет, если разве что не найдется смельчак, который сгенерит 7 фигурные, но это примерно 200Tb.

Да, пока винчестеры до 1 терабайта, такие не поставишь. Но лет через 5-10, будут винчестеры, скажем по 50-200 терабайт, вполне возможно, поставив несколько винчестеров. И я уверен в этом. В 1999 году когда я купил свой первый комп, то винчестеры были по 2 гигабайта, т.е. в 500 раз меньше сегодняшних. А генерировать можно и нужно начинать прямо сейчас, и записывать на диски (они дешевле всего). Когда в будущем будут компы, при которых можно будет использовать 7-фигурки, то можно будет сразу их использовать, а не ждать пока сгенерятся лет 10. Организовать бы вот, на многих компах генерацию, и обмениваться друг с другом? Правда, генератора даже 6-фигурных нигде не найти, не говоря про 7-фигурные.

Тут были вопросы, сколько будет генерироваться 6-фигурная база. Сильно зависит от эндшпиля, от числа ходов значит и от фигур, а также пешечный - или нет, от количества итераций которые придется сделать, но полагаю, у Налимова - судя по скорости (5-фигурных), скажем, на современном, хорошем процессоре, Athlon 64 4000, одноядерном - СРЕДНЕСТАТИСТИЧЕСКИ - 3 недели будет генерироваться (это в среднем, т.к. некоторые больше, некоторые - меньше). 7-фигурная - 2 года. Ну и что? Всего 7-фигурных - 1001 база. Значит одному компу надо 2000 лет.

А если юзать 4-ядерный процессор, которые уже появились в продаже - то уже в 4 раза меньше по времени (спорное утверждение, так как для этого нужно чтобы генератор был оптимизирован под многопоточность, но даже при этом прирост производительности будет не кратен количеству ядер, а меньше чем в 4 раза). А если объединить усилия и генерировать на 250 компах (найти столько людей с компами), то уже - в 1000 раз меньше. Т.е. не 2000 лет.

А всего за 2 года - можно сгенерировать АБСОЛЮТНО ВСЕ 7-фигурные базы.

А интересного там сколько будет...

Цитата ОТСЮДА.

Отредактировано Renegat23 (03/11/2008 12:28:18)

>> Пару -тройку пивка и создал генератор 7-фигурной базы. >>

Вот тут Вы сильно ошибаетесь. Я делал генератор больше года, потом несколько месяцев ушло на тестирование. А потом программу - графический анализатор самой игры, правда, сделал намного быстрее.

>> А про 200Тб на все семифигурники по мнению автора - это вот как раз не проблема.  >>
 
А я не спорю что там будет 200 терабайт на все 7-фигурники, и такие винчестеры доступны будет может, только  через 5 лет.  Я  думаю, что может, у кого есть доступ к мощному серверу, и смогут начать создавать 7-фигурные прямо сейчас. Ведь на их создание уйдут долгие годы. Я всего лишь сделал высокооптимизированный генератор и анализатор к нему.  А 6-фигурные я генерирую у себя дома прямо сейчас, все же выгоднее чем качать по интернету 1 терабайт. За 1 гиг траффика - 20 долларов, и выкачивать 1 терабайт за 20 тысяч долларов смысла нет.

Отредактировано Skipper_NORTON (03/11/2008 15:16:19)

Вот уже конкретные цифры. 6 фигур ( без пешек!) требуют 800 мб. Спасибо.А ведь с пешками намного более проблем. Скока памяти нада? А для 7 фигур? С 6 фиг. ни у кого проблем нет. Никаких 200 тб для генератора не нужно. Ведь генерирование по частям происходит. По сочетаниям фигур. Тем более там большинство позиций типа 3 ферзя против коня и слона и не нужны никому. Практически интересные позиции все с пешками, ну в общем фантастические позиции можно не генерировать.
   Вот покажите сколько нужно памяти и примерно времени на актуальные эндшпиля типа ладейников с пешками и ферзевых. Пару десятков примеров.  Для 7 фигур!

В принципе, похожая ситуация была в 1998 году, когда вышел генератор Налимова для 5-фигурных, он требовал до 600 МБ оперативы, а на компах персональных тогда 32 МБ казалось уже много. По сути, программа будущего, если считать только персональные компы. А на мощных серверах 5-фигурные были сгенерированы уже в 90-е годы.

Надо бы сайт получше и исходники открыть
А  так кота  в мешке запускать...

На форум talkchess ходили?

когда же интересно 32-фигурники сгенерируют?) и скока надо оперативки на них?))) в порядке юмора

Конечно, самый лучший вариант - это когда оперативной памяти хватает.  Такие компьютеры сейчас есть. Но если у шахматистов нету доступа к настолько мощным компам - то как вариант генерировать и на тех компах, где памяти не будет достаточного количества. В любом случае, чем раньше начнется создание таких, 7-фигурных, тем раньше и закончится.  А когда закончится, лет через 10, будут и винчестеры по 200 терабайт, и  мы поюзаем 7-фигурные на своем веку раньше...

Ага, ему больше нечем заняться.  Зачем вам исходники то? Человек написал программу, кто хочет - юзает, кто не хочет - нет, а открывать ему чего или нет - его личное дело.

Я думаю, что когда дело дойдёт до генерации 7-8 фигурных баз, народ будет покупать storage где-нибудь у Гугла на облаке, и там же на серверах приложений запускать генератор... Всяко дешевле выйдет, с учётом обслуживания, бэкапа и т.д.

А такой вариант: анализировать отдельно взятую позицию?

анализировать отдельно взятую позицию - чаще всего по процессорному времени будет ненамного меньше (всего на пару порядков) чем весь данный тип эндшпиля, ВСЕ позиции, с определенными фигурами.  Ну, конечно если в этой позиции не мат в 3 хода...     Это если вы хотите получить действительно полный исчерпывающий анализ, и доказать, за сколько ходов позиция выиграна и какие ходы к каким оценкам ведут.  Поэтому смысла просто нет - лучше изучить сразу все позиции в данном эндшпиле, и потом для любой позиции из многих миллиардов сможете получить лучшую игру.

freezer нужны 6-фигурники или 5 достаточно?

Более интересная только шахматным фанатам, а погода интересна (и нужна, в отличие от шахмат) всем

Отличная новость, Skipper_NORTON. Поздравляю с достижением - релизом генератора!

У меня несколько вопросов:
1. Какая метрика использовалась? DTM (Distance To Mate - Расстояние до мата)?
2. Учитывается ли взятие на проходе?
3. Учитывается ли рокировка?
4. Возможно ли получить таблицы для метрик DTZ и DTZ50?
5. Есть ли пример использования таблиц в виде исходника на С?
6. Есть ли поддержка произвольных размеров доски?

Спасибо!

Kirr
 
Использовал метрику - расстояние до мата. Именно эта метрика самым точным способом показывает, насколько один ход лучше другого. А если использовать метрику, с расстоянием до перехода в младший эндшпиль - то не будет точно показывать. Там еще может быть 200 ходов до мата с очень сложной игрой и стремиться быстрее попасть в такой младший эндшпиль нет смысла. 
 
Взятие на проходе конечно же, учитывается. Все количества позиций с любыми оценками - будут совпадать с количествами в базах Налимова, только формат баз у меня другой.
 
Позиции с рокировками в базы окончаний не заносятся. Когда на доске меньше 8 фигур, то просто невероятно, что там будет возможность рокироваться. В базах Налимова, кстати, тоже такие позиции не заносятся, как я заметил.  Но поставить такую позицию на доску и играть с рокировкой, конечно, можно, просто в этом случае программа не сможет получить оценку из базы.
 
таблицы для метрик DTZ и DTZ50 получить тоже могу, но это не так быстро... Там много чего в движке менять придется. Но все же лучше, чем писать это с нуля    В любом случае, это будет альтернативный вариант баз, который будет не совсем точно отражать лучшие ходы. Самый правильный вариант, как писал выше - считать до мата. А правило 50 ходов - должно вообще по моему мнению распространяться только на людей, т.к. если человек не смог выиграть за много ходов, то он и в будущем не выиграет, только зря будет мучить соперника. Не думаю, что найдутся люди, которые выиграют позицию за 100-200 ходов при наилучшем сопротивлении. А если программа может выиграть, то зачем ограничивать ее? Именно поэтому раньше вводили много исключений из правила 50 ходов для типов эндшпилей, где человек все-таки, якобы смог бы выиграть.
 
пример использования таблиц в виде исходника на С  есть, но в интернете исходники в публичный доступ не выкладывал. Там я вместе с проектом выложил dll,  для доступа к моим таблицам.  Вводишь позицию в формате FEN, вызываешь  функцию из dll, и получаешь оценку позиции. Могу расширить возможности dll, и привести пример кода на C++, как использовать.
 
Поддержку произвольных размеров доски могу реализовать, но это тоже не за короткое время. Несколько месяцев, возможно, уйдет.

Отредактировано Skipper_NORTON (05/11/2008 16:17:38)

Архиватор, я так понял, писал не Налимов. Там совсем другой автор. Блоки там по 8192 судя по вызову из командной строки.

В будущем еще хочу обычную программу шахматной игры вообще из любой позиции сделать.
А до сих пор что, шахматные программы не из любой позиции играть могут?

ProstoTak
 
Во-первых, не из любой. Например, с 10 ферзями не поиграешь.    Во-вторых, я имел в виду, что пока моя программа играет только из позиций, которые есть в базе, а позже сделаю обычную шахматную программу.
 
Mustitz
 
Пешки содержат большая часть. Но именно таких - где быстро будет переход в 6-фигурный, и немного нужно считать - думаю, мало позиций.

Самое главное здесь - добиться максимальной скорости генерации и минимума использования оперативной памяти.  Так можно добиться большого выигрыша по времени - сгенерировать на несколько лет быстрее, и по деньгам - найти менее дорогостоящий комп для генерации 7-фигурных баз.  Я очень много сделал для этой оптимизации, и сейчас появляются идеи, как еще лучше оптимизировать, но это пока в ближайшем будущем реализовать не получится, надо все хорошо обдумать.

ну вот как 4 фигурку генерируешь ручным генератором - запускашь например KPKP - он начинает генерировать KNKN KBKB и тд. и только потом уже пишет сам KPKP. здесь так же?

bankuss
 
Так же. Иначе быть не может. Чтобы рассчитать все позиции в эндшпиле KPKP, надо знать будущее этих позиций. А в будущем пешки могут превратиться в фигуры. Следовательно, эндшпиль KQKP например, будет младшим для KPKP, т.е. он уже должен быть построен, чтобы построить KPKP.
 
Mustitz
>> С другой стороны рассчитать конкретную 7-8-9 фигурную позицию не составит большого труда.
 
Думаю будет трудоемко, уже 7-фигурную считать. Конечно, менее трудоемко, чем весь данный тип 7-фигурки, но ради одной позиции, будет нерациональное использование времени CPU.  Если вводить много ограничений, и сводить к ответу "оценка неизвестна, игра сводится к такой-то позиции", то такой вариант еще может и прокатит.
 
Что-нибудь типа freezer-a я  мог бы написать, все таки у меня много готовых алгоритмов, и менять придется меньше чем писать с нуля. Но это все равно довольно долго будет по времени.

Спасибо за ответы.

Демонстрируете узкий взгляд на проблему. "лучше" (в "насколько один ход лучше другого") бывают разные. Всё-таки немало любителей шахмат интересуются прежде всего шахматными окончаниями, а не окончаниями в варианте игры без правила 50 ходов.

Можно убрать правило 50 ходов, можно и пешкам разрешить ходить назад. В обоих случаях получится некая настольная игра, но это будут не те шахматы в которые играют на турнирах, на чемпионатах мира по шахматам. А многих, включая меня, интересуют именно те шахматы.

Метрика DTZ50 меня интересует также потому, что таблицы с ней должны получиться компактнее.

Да, хотелось бы увидеть пример использования в виде исходника на C.
 

Это не сильно важная фича, но если появится, я буду рад!