Матчи между движками. Впечатления чайника!

Просмотрел весь раздел "Машинное отделение" - долго искал подходящую тему для размещения своих впечатлений. И не нашел!
Пришлось завести новую тему.

В оболочке Фрица 10 смотрю блиц матчи движков с контролем 4 минуты + 2 секунды на ход. Без дебютных книг - думают с первого хода. Просто смотрю, как катают! Производит впечатление.

Deep Shredder 10 UCI - Fritz 10: +5 =2 -3
Rybka 2.3.1 mp - Fritz 10: +4 =3 -3
Rybka 2.3 mp - Fritz 10: +5 =4 -1
Spike 1.2 Turin - Fritz 10: +4 =4 -2

Странный эффект привыкания наблюдался в матче Рыбки 2.3. Первую партию выиграл Фриц, потом были 4 трудовые ничьи, а затем Рыбина раскусила своего соперника и стала его драть по самое не могу - 5 подряд! Как это возможно? Какое-то самообучение есть? Или просто обычный случайный эффект.

Кстати... и другие программы немного прибавляют по ходу матчей. На фоне Фрица.

Рыбка явно была написана при участии Базара Вокзалыча. Белыми стабильно играет 1.Nc3, черными на 1.e4 норовит сыграть 1...Nc6! Объективно говоря, фору небольшую сопернику дает!
Но почему она так играет?? По какой такой программе ход 1.Nc3 - сильнейший? Пешку с2 зажимаем, Филидор в шоке. Диагоналей для развития фигур не открываем, мобильность оных не увеличиваем. Или количество уже развитых фигур - доминирующий фактор в оценке позиции?

Теперь ясно, почему Морозевич в последние 2 года применяет и в блице, а иногда даже и в серьезных партиях ход 1.Nc3. Научился у сестры-наставницы...

И последнее - почему Фриц стабильно попадает в матчах? Люлей ему раздают всеЁ! Ну, я еще могу понять, когда он проигрывает Deep версиям или Рыбке, той которая тоже mp. У меня все-таки 4-х процессорный комп. Но Спайку???

Нич-чего не понимаю.

Понятно...
Сейчас Тога II 1.2 катает свой матч. Начала тоже скромно: +0 =1 -1. Посмотрим, прибавит ли...

Нет, не тянет она: +0 =1 -4. Откровенно слабо играет.
Остановился.

Тога II 1.2 - Fritz 10: +2 =2 -8.

Мне кажется, что у Рыбки ОФ чисто миттельшпильная. С добавлением, в последних версиях, кое-чего о эндшпилях. Для дебюта ее ОФ слабо подходит. В моем рейтинг-листе Рыбка остальных опережает не намного, т.к. у меня имеет важное значение умение разыгрывать дебют.

При организации таких матчей рекомендуется:

1. унифицировать размер хэша - соответствующей кнопкой
2. унифицировать дебютную книгу - тоже кнопкой

В качестве книги лучше брать специально заточенную под матчи движков версию - с широким репертуаром, но короткими ветками (по 5-7 ходов). И повторения партий не будет, и "творчества" с первых ходов не увидим. Вряд ли кто-то из авторов топ-движков затачивает своё детище под игру без книги вообще.

Короткие книги для тестов можно взять отсюда:
http://americanfoot.free.fr/echecs/hsbook.htm

Я использую http://americanfoot.free.fr/echecs/telechargement/HS-7moves-ctg.zip - на 7 ходов

Без этого как-то невесело.

Такое запросто может получиться просто случайно. Даже в матчах из 30 партий равных движков может быть 20-10 или 10-20. Случайный эффект в тестировании движков обычно сильно недооценен. В блице я обычно уже не делаю никаких выводов о движке до тех пор пока он не наиграет где-то 600 партий, лучше 1000.

Да, нужно ставить дебютную книжку, лучше всего где-то на 7-8 ходов. Иначе есть риск повторения партий (или частичного повторения, например первые 10 ходов совпадут в 10 партиях), что снижает ценность результата. Можно ставить любую большую книжку и ограничивать искусственно глубину, оболочка фрица это умеет. Я сейчас использую новую книжку Шнаппа HS-8moves.ctg, но по-моему он ещё не выложил её в открытый доступ.

Слухи о величии фрица сильно преувеличены. Тем более если он одно-процессорный против 4-процессорных шреддера и рыбки. А насчёт спайка - у меня есть гипотеза. В exe-файл спайка встроена дебютная книжка, которую нужно выключать в его настройках. Если её не выключить то он будет играть дебют по книжке и будет получать преимущество над фрицем играющим без книжки.

А что тогда весело, когда движки лепят одну и ту же партию раз за разом, с расхождением может на 20-м ходу если повезёт?

Мы в наших тестах используем политику: ставить движкам размер хэша пропорционально числу процессоров (ядер). То есть если, например, спайк 1.2 (1-процессорный) играет матч с дип шреддером на 4-х процессорах, то спайк получит например 256 МБ, шреддер - 1024 МБ. Но это всё не очень существенно. Мы проводили специальные тесты в попытке выяснить влияние размера хэша - начиная с определённых размеров (где-то 32-64 МБ, в блице) дальнейшее увеличение влияет на силу почти незаметно (если вообще влияет).

Так первые пару полуходов делаются не движками - вот и разнообразие и можно видеть дебютные способности движков.

По-моему, мы говорим об одном и том же. Только WildCat имеет в виду книгу на 4 полухода, а я и Kirr - чуть побольше (7-8).

Я в основном говорю о 2 полуходах. И только изредка побольше (если какая интересная позиция, но движки до нее сами явно не смогут дойти).

а я считаю, что движкам нужно дать набор дебютов, соответствующий второму разряду. то есть: испанка, итальянка, ферзевый, каро-кан, француженка, славянка, староиндийка и нимцовича. и без вариантов и систем!

Нет, ребяты, партии получаются разные, расхождения начинаются быстро. Могу показать...

Пробовал такое. Только у меня ещё королевский гамбит был
А славянки не было - посчитал, что ферзевого достаточно.

и как?

Надоело, скучно смотреть стало - перешёл на короткую книгу.

##DOOM13##, это дело очень затягивает.

Кстати, многие находят более интересным ставить движкам короткую дебютную книжку (всем одну и ту же), либо искусственно ограничивать глубину (в оболочках есть такая опция обычно). Таким образом можно наблюдать собственно игру движков с более ранней стадии.

Сегодня я наблюдал "бешеную ладью" в партии The Baron 1.8.1 - Yace 0.99.87. The Baron полностью переиграл Yace и уже проводил сразу пару пешек, но Yace вдруг всё пожертвовал кроме ладьи и оказалось что королю The Baron некуда спрятаться (если съесть то пат). Тем не менее The Baron ещё какое-то время оценивал позицию как +14 пешек в свою пользу, но ничья есть ничья.

А мы с креем как-то зафигачили что-то подобное - турнир движков, начиная с хитрой позиции...
http://www.crestbook.com/?q=node/351
тоже было весело...

У моей методики есть и недостатки но преимуществ всё же больше (по сравнению с использованием подробных книжек), по крайней мере для сравнения движков. Способность находить осмысленный план в разных сложных позициях - это важная составляющая силы движка. Мне очень интересно за этим наблюдать.

Допустим завтра появится новый супер движок, который сможет находить Ba5 за чёрных и другие сложные планы. По моей методике я сразу замечу что этот движок сильнее других. А если все движки будут использовать длинные книжки, то это будет менее заметно.

Я достаточно долго использовал в тестировании (не CCRL) длинные книжки. И я часто наблюдал как книжка заканчивается в позднем миттельшпиле или в эндшпиле где переломить ничейную тенденцию уже невозможно. Таких партий получалось много - в результате слабые движки незаслуженно получали ничьи с такими соперниками, с которыми они самостоятельно вряд ли сделали бы ничью.

Есть два способа помогающих избежать указанного недостатка моей методики:

1. Использовать специальную короткую дебютную книжку, где нет сложных планов обрезанных на пол-пути. Например книжка HS-8moves.ctg (Harry Schnapp). Это то что я делаю сейчас.

2. Обрабатывать базу партий и исключить партии с плохими дебютами. Плохими дебютами в данном контексте считем те, из которых счёт слишком неравный, по этой же базе партий. Для такого анализа нужно много партий, конечно. Я планирую добавить этот метод в обработку базы CCRL.