3-й Чемпионат СНГ среди шахматных движков

Глаурунг открыт полностью - и последние версии тоже. хороший, грамотный движок. единственное, что Торд не всегда сразу показывает сам движок. скажу по секрету, что он свои бетки тихо выкладывает у себя на сайте, на страничке к которой просто так не попадешь - знать ее надо... и никому про бетку не говорит ну, почти никому.

Привет всем! Сорри за задержки с ответами, я только что вернулся из отпуска! Спасибо Сергею за партии, попробую добавить и проанализировать в ближайшее время нашим тестом корреляции.

Так.. Партии от Сергея обнаружить пока не удалось, наверное их у меня ещё нет. Поэтому пока что обработал матчи проведённые мной и Рэем (Ray Banks). Результаты - здесь. Результаты корреляции: таблица количества предсказанных ходов и таблица корреляции оценок позиции. Пока что только три матча, в блице (эквивалент 8 минут на 40 ходов на процессоре Athlon 64 3800+).

Первое что можно сказать: убедительных признаков клона пока что обнаружить не удалось. Правда пока что отсутствует матч Партиот - Крафти. Кроме того, мы тестировали Патриот 1.3.0, клоном фрукта вроде бы считается Партиот 2.0.

Из протестированных пар ближе всего Каисса 1.8а и Крафти 19.19: процент взаимно предсказанных ходов: 64.0%. Это хоть и не мало, но недостаточно для утверждения что один движок - клон другого. Может быть не та версия Крафти?

Об интерпретации результатов: Слабая корреляция не является доказательством отсутствия клона. Возможно клонер внёс достаточно изменений для того чтобы движок заиграл ощутимо по-другому. С другой стороны, сильная корреляция это почти наверняка клон. Сильной корреляции здесь пока что нет, если интересно можете посмотреть примеры в полных таблицах CCRL [url=""http://www.computerchess.org.uk/ccrl/4040/correlation.html]здесь[/url].

Что дальше? Если у кого-то есть упомянутые движки, и желание помочь в сложном деле выяснении истины, проводите матчи и присылайте партии. Можете тестировать любые подозрительные движки. Любой контроль времени, кроме буллета (чем длинне тем лучше), любые дебютные книжки, желательно Ponder Off. Партии должны быть в формате PGN, для анализа корреляции PGN должен содержать оценку позиции после каждого хода, глубину перебора, времея затраченное на ход, и ожидаемый ход противника. Стандартные PGN из любого интерфейса Chessbase подойдут, комментарии могут быть как в старом так и в новом формате.

Сергей, если пришлёшь упомянутые партии, буду рад добавить!

по этому поводу хочу спрсить, тогда если я сделаю клон какого-либо движка - по кореляции можно выяснить это? даже если изменения затронут, и ощутимо, оценочную функцию... напрмер, я могу установить в ОФ коэффициент безопасности короля на 1,5 увеличить значимость пешечных цепей, ослабить силу 2-х слонов... поставить, наконец, случайный коэффициент от 0.9 до 1.2. в таком случае поможет ли статистика?!

Патриот 2.0 клон Тоги II 0.93

Ходили слухи, что Patriot 1.3.0 клон какой-то старой версии Крафти, но никто не проверял. Поэтому, Патриот 1.3.0 пока нельзя считать клоном.

Чем больше изменение тем меньше корреляция. Если до неузнаваемости изменить оценочную функцию, будет совсем другой движок. Например изменением настроек The King 3.33 можно получить движок играющий совсем не как The King. Насколько сильно какой параметр влияет на корреляцию - никто вроде бы не изучал.

Другой вопрос - будет ли ваш клон так же силён как оригинал. Если просто взять готовый движок и начать крутить параметры, улучшение получить очень трудно. Ведь автор и сам уже всё подкрутил по-оптимуму.

Поможет ли статистика? Если клонер - лентяй, то поможет. Если не лентяй и всё поменял до неузнаваемости - наверное не поможет. Экспериментов пока что не было. Так что отсутствие корреляции нельзя считать доказательством отсутствия клонирования. С другой стороны, наличие сильной корреляции почти наверняка выявляет клона, так как вероятность что два человека напишут движки предсказывающие 70% ходов друг друга - близка к нулю.

К вопросу о том насколько сильно надо поменять движок чтобы корреляции не было - смотрите статистику CCRL. Все известные клоны (Тога) и версии одного и того же движка показывают сильную корреляцию. Даже Hiarcs 9 и Hiarcs 10, между которыми разница в рейтинге 134 пункта, предсказывают 71 процент ходов друг друга. Toga 1.1a и Fruit 2.2.1 близки как две копии одного движка, несмотря на то что Тога была клонирована в версии 0.93 (или раньше), от фрукта версии 2.1. То есть даже последующее развитие обоих движков не уменьшило их сходство.

Может быть кто-нибудь проведёт пару тройку матчей подозреваемых движков? Было бы очень интересно. Я посчитаю корреляцию.

а сколько партий нужно для подсчета кореляции? и кого с кем?

Чем больше тем лучше. 15-20 - нормально для грубой оценки. 50-100 - уже можно делать выводы. Контроль времени может быть любой кроме очень быстрого. Хороший контроль порядка 10 минут на 40 ходов и всё что длиннее. Чем длиннее тем лучше.

Кого и с кем - подозреваемых. Например, как сказал WildCat, Patriot 1.3.0 c каким-нибудь из старых Крафти. Или Patriot 2.0 с фруктом 2.1 - это будет особенно интересно!

хорошо, я проведу 40 партий с контролем 5+2 между Patriot 1.3.0 и Crafty 17.4, 19.03.

Спасибо, буду ждать партии!

Пока никак - мы пока что не распостраняем наши программы. Когда будет чуть больше времени постараюсь выделить эту часть в отдельную программу и выложить в открытый доступ. Но наш метод подробно описан на страницах корреляции, если кому-то не терпится то это вобщем-то легко закодировать самому.

Несомненно! Если проведёте такой матч, будет очень интересно посмотреть корреляцию! Кстати матч Patriot 1.3.0 с Patriot 2.0 - действительно был бы очень интересен - если корреляции нет то это дополнительный признак того что 2.0 - это не развитие версии 1.3.0.

Чтобы сохранить на время отличительную особенность нашего проекта. Кроме того эти программы пока что сложно использовать. Мы их выпустим когда они буду более готовы, и когда в нашей базе будет больше партий.

Отлично! Буду ждать партии!

Patriot 2.0 - вроде бы клон фрукта, фрукт не участвует в турнире? Кстати, надеюсь ваш ник не означает что вы представитель команды фрукта?

Мой адрес здесь, либо можете выложить где-нибудь и запостить здесь ссылку.



Да, забыл сказать: Для рассчёта корреляции нужны PGN файлы где ходы с комментариями выглядят так:

Code:

29. Rb7 {(Rf7-c7) [%eval 88,11] [%emt 0:00:19]} b4 {[%eval 37,13] [%emt 0:00:18]}

либо так:

Code:

33. Bxc7 {1.52/14 102} f6 {(Nxc3) 0.78/15 26}

Контроль времени - любой кроме буллета, минимум где-то 5 минут на 40 ходов, лучше 10. Чем длиннее тем качественнее оценка корреляции. Но нужно также много партий, где-то 20-30 минимум, лучше 50-100.

Забыли еще Каиссу 1.0

И хорошо бы было провести несколько матчей между одной и той же версией разных программ. Просто чтобы узнать какую близость они покажут. Ведь оценки программ прыгают от хода к ходу. И свои ходы не всегда могут предсказать.

Вместо близости оценок лучше находить коэф.корреляции, строить уравнения регрессии. Тогда будут зависимости лучше находится. А так достаточно Eval() * 2 + 50. И уже будет считаться, что оценка совсем иная и ничем не похожа

Патриот это еще не проблема. В принципе я не против клонов. Ведь Рыбка тоже клон???

А проблема это Арена! Только сейчас заметил, что использовалась эта оболочка. Но она так затормаживает движки, которые выводят информацию в процессе перебора.
Факт, то что 5 минут на партию совершенно невозможно играть из-за проигрышей по времени. Насколько это важно при других контролях я не исследовал. Но все равно использование оболочки с такой дурной репутацией...

Есть же WinBoard. Может и не очень удобен, зато репутация самая наилучшая. А вообще, довольно странно, что нет других оболочек.
Говорят, что оболочка Shredder тоже очень хорошая. Может кто-нибудь дать попользоваться? Krey?

попользоваться дать могу. тебе ссылку для скачки дать или прислать на email?

Вот с этого момента поподробнее, пожалуйста.

Отлично! Главное чтобы всё это было в PGN.

В качестве такой оценки можно приблизительно взять самые близкие показатели из тестов CCRL. Например Ktulu 7.1 - 7.5 или Fruit 2.2.1 - Toga II 1.0. Там есть и ещё несколько близких пар. Процент предсказанных ходов - в пределах 70 - 80%.

Тест который нельзя обмануть - это пондер хит (процент предсказанных ходов). Как бы клонер не маскировал оценку, ходы на доске делать всё же надо. Оценку можно изменить так что и уравнения регрессии не помогут. Поэтому корреляция оценок - это тест для "честного" клонера, а пондер хит - для хитрого.

Я против клонов - они портят статистику и рейтинги. Рыбка не клон, но последнии версии как-то всё больше похожи на фрукт...

С такой же как в Тоге она и играла бы как Тога. А между ними 167 очков разницы (в нашем листе). Близость есть, но недостаточная чтобы что-то утверждать. (IMHO).

Наум вроде в порядке в наших тестах.

2 Kirr
Партии, игранные патриотом 1.3.0 против крафти 17.4 и 18.10 (всего 40 партий).