Leela Chess Zero (lc0): турниры, партии, рейтинги...

Даже если рост новой сети будет максимум 100 пунктов, это уже невероятный прогресс. Вы явно недооцениваете потенциал Лилы. Но Сток, очевидно, тоже стоять на месте не будет.

 

Речь шла о сегодняшних сетях, на базе 40 сети, их рост за 3 последних мес. довольно небольшой,хотя энтузиасты не седели сложа руки
А развитие движка буквально только неделю назад сдвинулась с мертвой точки

Если предположить, что он и в 2021 году не будет стоять на месте,а Лила - будет, то эти 100 Эло он может и нагнать, а вот перспективы Лилы уже довольно туманные, если не будет придумано чего то ещё.
(типа обучить ещё большую сеть на лучших 60-х сетях,и продолжить самообучение, это будет не быстро, по 100-200 тыс игр в сутки )

 

#прямо сейчас!!!

Лила лидирует в финальном матче со Стокфиш из 75 партий.

В чемпионате Chess.com среди компьютерных программ!

Следите не отрываясь! https://www.chess.com/computer-chess-championship

 

Из 150 партий)

Пожалуй, одна из лучших партий Лилы)

 

Что-то эло сильно разнится:

 

На Chess.com пользуются оф версией SF10,или берут движок с последними обновлениями?

 

Версия показывается, если кликнуть на название движка:

Version
151219 64 BMI2
Updated
16.12.2019

 

А какая сеть у Лилы самая сильная? Обогнал уже 60 тест остальные?

 

Все они примерно одинаковые, многочисленные эксперименты дали лишь небольшой прирост, 60 тест пока никого не обогнал,но в ближайшем будущем планирует это сделать (если не передумает)

 

Рейтинги CCRL

1. Stockfish - 3495
2. LC0 - 3465
3. Komodo 3424
4. Houdini 3398

Почему-то нейросетка застряла ровно на том же уровне, на котором сейчас играют теперешние топовые движки. Почему-то она легко раскидает движки 5-летней давности (например, Stockfish 5 3269), почему-то с треском сольёт движкам будущего (какому-нибудь Stockfish 17). Но вот с теперешними - ноздря в ноздрю. Откуда бы такая подозрительная близость по рейтингам именно к теперешним движкам, если устройство нейросетки принципиально иное?

 

Может "близок" принципиальный предел.По аналогии со скоростью света,чем она ближе тем по "экспоненте" нужно увеличивать усилия чтобы сделать шаг в тысячи раз меньший чем предыдущий.

 

Странно, а вы какого результата ожидали?

 

Если бы Лила была, как говорит Crest, в самом деле Зеро, то её уровень не должен быть так сильно привязан к уровню именно теперешних классических движков. Почему бы ей не играть на уровне движков 10-летней давности? Или, напротив, на уровне движков, которые создадут через 10 лет? Ведь она же якобы учится с нуля на партиях с самой собой, не зная ни об оценках теперешних движков, ни об их уровне игры.

 

Мобуту, Думаю, что просто на современном железе уровень движков дошел до своего пика, и неважно уже, обычные это движки, или нейронные.

 

- А что значит ноздря в ноздрю? +/- 50 Elo - это ноздря в ноздрю, или уже нет?
Да и вообще, когда появилась первая Zero нейросетка она была сильнее лучшего AB движка (на тот момент) в матче 1 на 1 как минимум на 70 Elo без книги и как минимум на 50 Elo при игре с книгой.
- И вообще, развитие движков на месте не стоит, в том числе и нейросетей. Лучшие версии Лилы сейчас будут делать более 100 Elo против того же Stockfish 9, который был сильнейшим около 2-х лет назад, и с которым сеть AlphaZero сыграла только на +52 Elo.
- И почему мы смотрим CCRL рейтинги, как показатель? Там протестированы последние сети, или подобрано сопоставимое железо? А что насчет формата тестирования? Почему у движков разные соперники, разные дебюты? По какому движку делается ordo расчет?
Вот этот рейтинг лист, например, в разы точнее и современнее http://www.fastgm.de/16-60-0.6.html

 

Строго говоря, не доказано.

 

Если предыдущую версию Стокфиша ты обгоняешь, а следующей уступаешь, то это "ноздря в ноздрю", я считаю.

AlphaZero не участвовала в соревнованиях с независимым арбитражем. Пускай соревнуется с людьми-хвастунами, которые у себя дома бьют движки и так, и сяк, и эдак. А на публике что-то им сливают. )
Обсуждать можно только Лилу - она участвует в нормальных соревнованиях.

С дебютами на CCRL всё честно: одну партию белыми - потом этим же дебютом одну партию чёрными с тем же противником. Хотя, наверное, нейросеткам выгоднее было бы играть без дебютных книжек: они сами себе книжки. Насчёт противников - все сильнейшие сыграли друг с другом большие матчи, насколько я понимаю.

А чем результаты так уж отличаются от CCRL? В блиц Лила и там, и там чуть обходит Стокфиша. С длинным контролем на CCRL Лила чуть отстала, а на FGRL её, похоже, ещё не оценили. На обоих сайтах силы Лилы и Стокфиша очень близки. Подозрительно близки.

 

Просто на FastGM более свежие версии сетей и движка для сетей (за счет него тоже идет Elo). Плюс там фиксированное количество партий и их просто больше, чем в CCRL тестах. При этом один и тот же дебютный набор против каждого движка. Это все делает тестирование куда более точным.
Еще, как я говорил выше, в CCRL несбалансированное железо. В BLITZ преимущество у нейросетей, а в 40/15 уже у AB движков. Так что дело тут далеко не в рапиде и блице, и делать по CCRL какие-либо выводы о разности сил я бы не стал.

Вообще, вся суть моего поста сводилась к тому, что два всем известных движка идут довольно близко друг к другу за счет того, что они постоянно улучшаются. Поэтому ни одному из них пока не удалось вырваться на целое поколение вперед. Хотя в ближайшее время эта ситуация может измениться.

Обратите внимание как сейчас стоят те движки, которые прекратили свое развитие:
Lc0k 0.23.2 256x20-T40-1541 - Houdini 6.03 : +102 =135 -13, 67.8%, +122 Elo
А ведь еще пару лет назад Houdini даже конкурировал со Стокфишом.
Или возьмем Комодо, он до сих пор развивается, но недостаточными темпами, и вот результат:
Lc0k 0.23.2 256x20-T40-1541 - Komodo 13.2.5 : 250 +115 =120 -15, 70.0%, +138 Elo
Кстати, данная сеть T40-1541 на данный момент не является сильнейшей, и та, что сейчас будет играть в Премьер дивизионе TCEC, по прикидкам, будет показывать на 20-30 Elo лучший перфоманс.

 

CCRL калибрует количество времени, которое даётся движкам, запуская Crafty и смотря во сколько раз nps выше, чем на каком-то там атлоне 2000 года.
При этом что там за GPU — в этом никак не учитывается. Поэтому серьёзно к GPU движкам в рейтинге CCRL относиться не надо.

Если движку не везёт и выпадает машина с современным CPU, времени даётся гораздо меньше несмотря на то что CPU ему не нужен. И наоборот.
Короче с тестированием GPU движком там полный пипец.

 

Зато доказано, что Сток 8 с хорошей книгой сильнее себя же без книги на 100+ пунктов
Где-то в цифрах Алхимика неувязочка

 

Было 2 матча против SF без книги. В одном играл SF 8, в другом SF 2018.01.13 (практически SF 9). В обоих матчах A0 разгромил Стокфиша, показав никак не меньше +70 Elo перфоманса (там на самом деле было около 100 против одного и другого)
Далее матч в популярных дебютах против SF8. A0 побеждает с огромным перевесом, показывая примерно тот же перфоманс.
Стокфиш стал выбираться из 1% зоны побед только когда ему дали Cerebellum book (при этом A0 играл без книги) и в позициях суперфинала TCEC 2016.
Но и в этих случаях A0 побеждал безоговорочно, но с меньшим перевесом.
Что касается матча из 1000 партий, в котором A0 показал всего +52 Elo, то авторы статьи отмечали, что в них была низкая вариативность, и больше 90% партий завершались вничью. Они слегка изменили параметр температуры для A0, тем самым вариативность несколько возросла и им удалось поднять процент побед с 5.8% до 14%. Возможно за счет этого матч против SFdev был настолько результативным. В статье нет ответов на все вопросы. Но если интересно, можете поискать.
https://kstatic.googleusercontent.c...fa990e6f85fd827dcd477845e806f23a17845072dc7bd

О какой книге идет речь? Cerebellum book что используется в BrainFish? Если она, то я Вас разочарую. Пока не видел ни одного корректного теста этой книги. Дело в том, что большинство запускают BrainFish против Стокфиша на обычном контроле, типа 60+0.6, и, о чудо, Brainfish громит своего собрата без дополнительных мозгов. Однако, мало кто обращает внимание, что у Стокфиша остается примерно половина времени к моменту, когда BF вышел из книги, который, в свою очередь, только наварил время.
Если и тестировать Cerebellum book на предмет дополнительного Elo, то тест должен быть с фиксированным временем на ход и никак иначе. А таких тестов я не видел. Хотя может что-то и упускаю, и Вы мне покажете.

 

https://sites.google.com/site/computerschess/scct-book-cs-17

приблизительно то время, см.места 4 и 142

 

Открываем в базе любую партию. Для наглядности Cerebellum 081017 - No book. И видим то, о чем я говорил.

Ходы движка с Cerebellum book делаются за "0" секунд, когда No book тратит время с первого хода.
В рассматриваемой мною партии Cerebellum не потратил ни секунды до 18-го хода, когда у No book оставалась ровно половина времени. Какая у нас там прибавка за удвоение времени Стокфишу? Они еще и контроль выбрали гениальный - 3'+0''. Чтобы наверняка прихлопнуть безкнижную рыбёшку, если она доживет до цейтнота.
Кстати, они скорее всего использовали движок Brainfish, который быстрее официальных сборок (скорости в pgn отличаются), может даже версия другая. Правильно использовать один и тот же движок.

Нет никаких проблем, чтобы протестировать силу книги:
- Берем Brainfish со включенной книгой (любой) против Brainfish с выключенной.
- Ставим контроль с фиксированным временем на ход: 1 c/ход, 3 с/ход, 10 c/ход и т.п.
И вуаля, у нас корректный тест. Почему до этого люди додуматься не могут, я ума не приложу.

К слову, на известном https://www.sp-cc.de/ BrainFish тоже тестируется некорректно, отсюда и такие завышенные рейтинги.

 

Alhimik88, я не говорю про Cerebellum book, это вы начали
я говорю про книги, специально натренированные на безкнижный движок, особенно с известным контролем
А именно в таких условиях играл Сток с AZ
Сейчас нет времени, потом найду, но в теме обсуждения этого матча я уже приводил партию с указанного сайта, где безкнижный не вышел из дебюта, было +5, а соперник продолжал играть по книге
Контроль секунда на ход только облегчит создание такой книжки-киллера
Так АльфаЗеро и мутузила Вяленого, чередуя Французскую с Новоиндийкой

 

на Форе, где вы бываете, есть чувачок Роман57 (вроде)
Так он хвастает победами над Стоком, применяя Стоневаль в первой руке
Сколько партий у него уходит на это, мне неведомо, но тропинку найти можно, если известен контроль

 

Другие книги тестируются по такому же принципу, и чем они длиннее и корректнее, тем выше будет преимущество книжного Стокфиша. Чтобы корректно протестировать книгу, в ней, или движке нужно задать некоторый рандомайз.
И еше, книжка киллер не годится в сравнение. A0 не тренировался против Стокфиша. Да и некоторую рандомность в A0 задавали.
Но согласен с тем, что если мы на голову лучше в 2-3 дебютах, не значит что мы доминируем и в других вариантах.
Именно поэтому был показателен тест A0 - SF в популярных дебютах, там счет тоже был разгромным.

 

там в варианте Паульсена сицилианки Стокфиш был в плюсе, как мне помнится

 

зато Вяленый с упорством, достойным лучшего применения, пёрся во Французскую (тяжёлый дебют для движков) и запирал с4 ко всему прочему
Этому и способствовал контроль секунда на ход
Очень похоже на читерство гугловцев, может быть и неумышленное

 

Не ну там все таки была минута на ход

 

Где то в темах видел как лила специально отдаёт фигуры и ставит долго мат, думаю всё решается заданием вполне реального отрубания компа на котором она играет, с вероятностью 0 целых сколько то десятых (тысячных и.п.) на ход в обучении, тогда она будет стараться ставить мат побыстрее.

Иначе такое когда нибудь точно выйдет боком, з.ы. хотя щас наверно от железа не зависит, всё играется на одном компе. но всё равно, такой микро параметр можно задать.

 

С Лилой сток сейчас играет с буквами в конце обозначения движка "DC". Что означают эти буквы?

 

По сути ничего. Хотели сделать версию Стока с раздельным контемптом для игры белыми и черными. Но немного напортачили, и получилось так, что разделение контепмта не работает. То есть всё осталось как было у обычного Стока.

 

оторвать бы ему руки...

 

У меня такой вопрос. Я недавно установил Лилу на компьютер и попробовал провести её поединок с другими движками. Во всем случаях Лила начинает играть очень сильно: часто получает инициативу и перевес в пространстве и даже выигранную позицию. А когда наступает реализация перевеса (в эндшпиле) - начинает делать бессмысленные ходы и отдаёт своё преимущество, либо делает ничью. Как будто ей не интересно заматовывать противника. В нескольких партиях против Стокфиша позиция была КР и Л против КР. И она её не выигрывала. Просто ходила туда-сюда королём и ладьёй и всё тут. Т.е. если коротко: сильно разыгрывает дебют и миттельшпиль, а в эндшпиле начинает играть тягомотину (проходные пешки в ферзи не проводит, мат не ставит одинокому королю). В настройках программ (Арена и Фритц 13) ничего не нашёл. Думал, что проблема с файлом сети - пробовал менять - не помогло. Кто-нибудь сталкивался с этим и как исправить проблему? Версия движка: Lc0 - v0.25.0.
Вот пример её партии.