TCEC - Top Chess Engine Championship

Тред что бы обсуждать не только партии Лилы.
Что за AllieStein такой? Откуда он взялся?

Итак, у нас есть lc0 - сама Лила. Есть сторонняя реализация идей Google - Allie, в планах сделать ab-поиск вместо MCTS, но пока это, похоже, не работает так, как хотелось бы.
Также, у нас есть сети Лилы (основные): 32930, 41800 и еще несколько тысяч других. А есть сеть Stein, которую тренирует другой автор, при этом не полностью с нуля, а добавляет игры движков и что-то еще. Там есть определенные отличия в обучении. Доступ к этой сети платный.

AllieStein - это движок Allie с сетью Stein. Только в таком раскладе движок может являться уникальным в TCEC. На CCC7 играет движок lc0.exe с сетью Stein (Leelenstein).

Так вот оно че, хренаси.

Я здесь уточню несколько моментов. По правилам TCEC представленный шахматный движок должен быть уникальным. Leela использует бинарник lc0.exe, где все настройки для использования весов нейронной сети, например 41800 и собственно нейронная сеть. Соответственно у нас уникальный бинарник и уникальная сеть.
AllieStein - это комбинация бинарника allie.exe, который написал Adam Treat, и нейронной сети Leelenstein. Allie также использует MCTS, но значительно хуже оригинального lc0.exe, скорость медленнее, есть какие-то баги и прочие моменты, которые не позволяют использовать нейронную сеть на полную мощь. Но Адам планирует в последующем перейти на AB алгоритм.
Сеть Leelenstein разрабатывает Mark Jordan, концепт в том, что она вообще не играет тренировочные игры, а для обучения использует готовые партии, которые взяты с CCRL + большое количество игр с 30xxx сетей Лилы + некоторые другие игры. Сама сеть Leelenstein в общем неплохая, и по уровню близка к лучшим 30ххх, хотя скорее всего немного слабее чистой 32930, но вот вместе с бинарником allie.exe Leelenstein значительно слабеет и уступает в силе топовым движкам и не дотягивает даже до уровня Комодо, или Гудини. Думаю по силе это что-то близкое к Fire. Надеюсь Адам таки реализует хороший AB поиск, иначе смысла в этой Allie ровно 0. Хотя, благодаря тому, что бинарник и сетка получились уникальными AllieStein допустили в турнир TCEC и там теперь играют 2 нейронки.

Непонятно на что надеются, вначале конечно соблазнительно использовать имеющиеся игры (позволяет быстро и недорого иметь неплохой уровень), но что бы прыгнуть выше головы надо этому учиться.

Просто нет ресурсов для обучения. Лила обучается за счет коммьюнити, а для Штейна коммьюнити уже не наберешь. При этом судя по чесскомовскому финалу обучение на партиях дает хорошие результаты. Разница в силе с последней Лилой порядка 50 пунктов.

Этерий только что наказал комодо mcts тактикой и получил первую победу. Хорошо, а то как то непривычно видеть комодо mcts выше комодо и гудини, пусть отправляется туда где и должен быть. Вообще не нравится этот движок, играет крепко-ничнйно-скучно

На порядке движков в турнире это скажется

Стокфиш неожиданно силен. Раньше разница с Комодо и Гудини была меньше 100 пунктов, а сейчас чуть ли не двести.

Ну не всё так катастрофично, С обычным Комодо всего 110, а с Гудини 135

Моя симуляция TCEC (вероятности нахождения на место):

Код:

python tcecsimul.py -r divP.json -s 100000
Ethereal 11.38: 2976
LCZero v0.21.1-n41800: 3200
KomodoMCTS 2306.00: 3059
Komodo 2306.00: 3089
Houdini 6.03: 3100
Stockfish 19040612: 3200
AllieStein v0.3dev-n6.1: 3059
Fire 011819: 3000
Played: 132/168
Stockfish 19040612            :  98.2120 01.7880 00.0000 00.0000 00.0000 00.0000 00.0000 00.0000
LCZero v0.21.1-n41800         :  01.7880 98.1150 00.0970 00.0000 00.0000 00.0000 00.0000 00.0000
Komodo 2306.00                :  00.0000 00.0970 73.8120 18.8820 05.7630 01.4390 00.0070 00.0000
AllieStein v0.3dev-n6.1       :  00.0000 00.0000 16.8510 40.4600 27.6850 14.6010 00.4030 00.0000
KomodoMCTS 2306.00            :  00.0000 00.0000 03.1160 18.9040 34.6270 42.5030 00.8420 00.0080
Houdini 6.03                  :  00.0000 00.0000 06.1230 21.7150 31.6620 38.9890 01.5070 00.0040
Fire 011819                   :  00.0000 00.0000 00.0010 00.0390 00.2620 02.4540 92.0440 05.2000
Ethereal 11.38                :  00.0000 00.0000 00.0000 00.0000 00.0010 00.0140 05.1970 94.7880

Программу выложил в открытый доступ: https://github.com/sovaz1997/TCEC-Simul

Новая симуляция после 140-й игры.
Программа обновлена: учитываются тай-брейки и исправлены некоторые ошибки. Также, доступен экспорт в CSV. Ссылка на программу: https://github.com/sovaz1997/TCEC-Simul

Код:

Engines:
Ethereal 11.38: 2976
LCZero v0.21.1-n41800: 3200
KomodoMCTS 2306.00: 3059
Komodo 2306.00: 3089
Houdini 6.03: 3100
Stockfish 19040612: 3200
AllieStein v0.3dev-n6.1: 3079
Fire 011819: 3000

Played: 140/168

Stockfish 19040612            :  97.0900 02.9100 00.0000 00.0000 00.0000 00.0000 00.0000 00.0000
LCZero v0.21.1-n41800         :  02.9100 97.0700 00.0200 00.0000 00.0000 00.0000 00.0000 00.0000
Komodo 2306.00                :  00.0000 00.0100 74.5500 19.9200 04.3700 01.1500 00.0000 00.0000
AllieStein v0.3dev-n6.1       :  00.0000 00.0100 19.6100 59.9700 16.7300 03.6700 00.0100 00.0000
Houdini 6.03                  :  00.0000 00.0000 04.1000 12.9000 42.4000 40.3500 00.2500 00.0000
KomodoMCTS 2306.00            :  00.0000 00.0000 01.7200 07.2100 36.4700 54.2000 00.3800 00.0200
Fire 011819                   :  00.0000 00.0000 00.0000 00.0000 00.0300 00.5000 68.1500 31.3200
Ethereal 11.38                :  00.0000 00.0000 00.0000 00.0000 00.0000 00.1300 31.2100 68.6600

После 144-й:

Код:

Engines:
Ethereal 11.38: 2976
LCZero v0.21.1-n41800: 3200
KomodoMCTS 2306.00: 3059
Komodo 2306.00: 3089
Houdini 6.03: 3100
Stockfish 19040612: 3200
AllieStein v0.3dev-n6.1: 3079

Played: 144/168
Simulation processing: 100%|####################################| ETA:  0:00:00

Engine                        :  Scores  1       2       3       4       5       6       7       8
Stockfish 19040612            :  27.8784 99.7800 00.2200 00.0000 00.0000 00.0000 00.0000 00.0000 00.0000
LCZero v0.21.1-n41800         :  24.9754 00.2200 99.7700 00.0100 00.0000 00.0000 00.0000 00.0000 00.0000
Komodo 2306.00                :  21.0813 00.0000 00.0100 49.9900 25.8500 20.4000 03.7500 00.0000 00.0000
AllieStein v0.3dev-n6.1       :  20.8937 00.0000 00.0000 33.3100 42.4700 18.9000 05.3200 00.0000 00.0000
Houdini 6.03                  :  20.4955 00.0000 00.0000 15.1100 26.2000 43.1200 15.5700 00.0000 00.0000
KomodoMCTS 2306.00            :  19.9389 00.0000 00.0000 01.5800 05.4800 17.5800 75.3200 00.0400 00.0000
Fire 011819                   :  16.6185 00.0000 00.0000 00.0000 00.0000 00.0000 00.0300 74.3100 25.6600
Ethereal 11.38                :  16.1184 00.0000 00.0000 00.0000 00.0000 00.0000 00.0100 25.6500 74.3400

Ссылка: https://github.com/sovaz1997/TCEC-Simul
Исправил баги в симуляции, которые приводили к не совсем верным результатам в теории, добавил вывод прогноза очков к концу турнира.

Опять нейронка откуда-то выжала победу в мертво-ничейном эндшпиле у топ-счетчиа. Как они это делают-то?
https://cd.tcecbeta.club/archive.html?season=cup3&round=qf&game=14

Lc0 - Stockfish:

Счет 5-1 в пользу Лилы. Полный PGN в архиве: https://cd.tcecbeta.club/archive.html?season=15&div=sf&game=26

Это разгром какой-то)

У LCZero глубина анализа по моему значительно возросла в этот раз,раньше очень меньше была чем у стока,а теперь даже превосходит кое-где,а у стокфиш глубина анализа не изменилась,хотя и перебор узлов огромен,мои 8 ядер без гипертрейдинга с условно 17000 Ку/сек в 60% случаев дают больше глубину.

вот скоро Crem сделает получше многопоточность и доставать до TB будет не хуже Стока

Что это за дебют такой после которого у белых +0.74? Или стокфишу фору специально дают?

Дебют играется с переменом цвета

Что-то счет то 5/2 был потом стал 5/1 это как так?

Вы видели 2-ю победу Stockfish? Ее не было. Счёт 5-1.

Не могу круглосуточно смотреть.Но а как тогда нарисовалась цифра 2? Утром думаешь,сейчас поглядим,что там изменилось,-ага, уже стало 2/5 ан блин нет оказывается)) весело однако)

Если вы на chess24 смотрели, то там баг был. На незаконченной партии стояло 1-0 в пользу стокфиша. Партия закончилась вничью и счет восстановился.

Тут: https://tcec.chessdom.com/
Ну ясно,значит баги бывают,надо не сразу верить тому что видишь)

Если бы там было "2", значит, была бы и победа Стока в архиве. Цифра 2 там была из-за проблем с интернетом (во вкладке "crashes" вся информация есть, не надо ничего круглосуточно смотреть)

Ну вот как так,с его то "дурными" Mnps?

Всё же я не понимаю зачем заставляют разыгрывать сомнительные дебюты. Вот сейчас играют партию с оценкой +1 на выходе, которую стокфиш наверняка выиграет. Лила может и отыграется в этом дебюте, но всё равно зачем эти игры с форой.

Да и вообще кажется,что правильнее было если бы движки сами играли дебюты,те которые считают нужными,тогда идеи движков будут их идеями от начала и до конца.Так вроде честнее и точнее как-то оценка игры.

Да, так было бы интереснее. А стокфиш на 72 глубине не видет выигрыша. Рискует еще очко потерять.

Ну... (1) партии будут однообразными; (2) движок может плавать в позициях некоторого типа только потому, что они выходят за рамки его дебютного репертуара; (3) тогда надо разрешать использовать дебютные книги, потому что Lc0 может пользоваться результатами игр сама с собой, а Stockfish нет?

Зато более умными они будут наверно,насчет дебютной книги вопрос конечно интересный,хотя через пару лет если за год по 100 эло стокфиш будет набирать,ему книга не понадобиться точно.