Leela Chess Zero (lc0): турниры, партии, рейтинги...

Тема в разделе "Машинное отделение", создана пользователем vasa, 9 окт 2018.

  1. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    647
    Симпатии:
    117
    Репутация:
    3
    Оффлайн
    Даже если рост новой сети будет максимум 100 пунктов, это уже невероятный прогресс. Вы явно недооцениваете потенциал Лилы. Но Сток, очевидно, тоже стоять на месте не будет.
  2. svoitsl Учаcтник

    • Участник
    Рег.:
    05.01.2018
    Сообщения:
    237
    Симпатии:
    53
    Репутация:
    7
    Оффлайн
    Речь шла о сегодняшних сетях, на базе 40 сети, их рост за 3 последних мес. довольно небольшой,хотя энтузиасты не седели сложа руки
    А развитие движка буквально только неделю назад сдвинулась с мертвой точки

    Если предположить, что он и в 2021 году не будет стоять на месте,а Лила - будет, то эти 100 Эло он может и нагнать, а вот перспективы Лилы уже довольно туманные, если не будет придумано чего то ещё.
    (типа обучить ещё большую сеть на лучших 60-х сетях,и продолжить самообучение, это будет не быстро, по 100-200 тыс игр в сутки )
  3. Yury_Solomatin Учаcтник

    • Участник
    Рег.:
    25.01.2017
    Сообщения:
    836
    Симпатии:
    479
    Репутация:
    24
    Оффлайн
    #прямо сейчас!!!

    Лила лидирует в финальном матче со Стокфиш из 75 партий.

    В чемпионате Chess.com среди компьютерных программ!

    Следите не отрываясь! https://www.chess.com/computer-chess-championship
    sovaz1997 и Spike нравится это.
  4. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    647
    Симпатии:
    117
    Репутация:
    3
    Оффлайн
    Из 150 партий)


    Пожалуй, одна из лучших партий Лилы)
    Alhimik88 нравится это.
  5. SKY Учаcтник

    • Участник
    Рег.:
    05.11.2018
    Сообщения:
    157
    Симпатии:
    15
    Репутация:
    1
    Оффлайн
    Что-то эло сильно разнится:

    Вложения:

  6. SKY Учаcтник

    • Участник
    Рег.:
    05.11.2018
    Сообщения:
    157
    Симпатии:
    15
    Репутация:
    1
    Оффлайн
    На Chess.com пользуются оф версией SF10,или берут движок с последними обновлениями?
  7. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.253
    Симпатии:
    533
    Репутация:
    14
    Оффлайн
    Версия показывается, если кликнуть на название движка:

    Version
    151219 64 BMI2
    Updated
    16.12.2019
    SKY нравится это.
  8. grizly Учаcтник

    • Участник
    Рег.:
    10.05.2015
    Сообщения:
    114
    Симпатии:
    321
    Репутация:
    12
    Оффлайн
    А какая сеть у Лилы самая сильная? Обогнал уже 60 тест остальные?
  9. svoitsl Учаcтник

    • Участник
    Рег.:
    05.01.2018
    Сообщения:
    237
    Симпатии:
    53
    Репутация:
    7
    Оффлайн
    Все они примерно одинаковые, многочисленные эксперименты дали лишь небольшой прирост, 60 тест пока никого не обогнал,но в ближайшем будущем планирует это сделать (если не передумает)
  10. Мобуту спаситель нации

    • Заслуженный
    • Ветеран
    Рег.:
    15.02.2006
    Сообщения:
    6.445
    Симпатии:
    2.047
    Репутация:
    103
    Адрес:
    Заир
    Оффлайн
    Рейтинги CCRL

    1. Stockfish - 3495
    2. LC0 - 3465
    3. Komodo 3424
    4. Houdini 3398

    Почему-то нейросетка застряла ровно на том же уровне, на котором сейчас играют теперешние топовые движки. Почему-то она легко раскидает движки 5-летней давности (например, Stockfish 5 3269), почему-то с треском сольёт движкам будущего (какому-нибудь Stockfish 17). Но вот с теперешними - ноздря в ноздрю. Откуда бы такая подозрительная близость по рейтингам именно к теперешним движкам, если устройство нейросетки принципиально иное?
  11. SKY Учаcтник

    • Участник
    Рег.:
    05.11.2018
    Сообщения:
    157
    Симпатии:
    15
    Репутация:
    1
    Оффлайн
    Может "близок" принципиальный предел.По аналогии со скоростью света,чем она ближе тем по "экспоненте" нужно увеличивать усилия чтобы сделать шаг в тысячи раз меньший чем предыдущий.
  12. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    Рег.:
    30.12.2009
    Сообщения:
    13.045
    Симпатии:
    5.927
    Репутация:
    455
    Нарушения:
    13
    Оффлайн
    Странно, а вы какого результата ожидали?
  13. Мобуту спаситель нации

    • Заслуженный
    • Ветеран
    Рег.:
    15.02.2006
    Сообщения:
    6.445
    Симпатии:
    2.047
    Репутация:
    103
    Адрес:
    Заир
    Оффлайн
    Если бы Лила была, как говорит Crest, в самом деле Зеро, то её уровень не должен быть так сильно привязан к уровню именно теперешних классических движков. Почему бы ей не играть на уровне движков 10-летней давности? Или, напротив, на уровне движков, которые создадут через 10 лет? Ведь она же якобы учится с нуля на партиях с самой собой, не зная ни об оценках теперешних движков, ни об их уровне игры.
  14. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    Рег.:
    30.12.2009
    Сообщения:
    13.045
    Симпатии:
    5.927
    Репутация:
    455
    Нарушения:
    13
    Оффлайн
    Мобуту, Думаю, что просто на современном железе уровень движков дошел до своего пика, и неважно уже, обычные это движки, или нейронные.
  15. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.231
    Симпатии:
    2.533
    Репутация:
    90
    Адрес:
    Москва
    Оффлайн
    Просто совпадение. Был в шахматной истории такой краткий период, когда сила движков на персоналках была такой же, как у чемпионов мира среди людей. Каспаров и Крамник по матчу вничью сыграли, в начале нулевых. Интересно, что в Го такой момент проскочили, там произошёл прорыв сразу от четырёх камней форы компьютеру до очевидного превосходства программ в игре на равных.
    Второй вариант - для рейтинговых турниров подбирают такое соотношение мощностей процессоров и видеокарт, чтобы паритет соблюдался.
    sovaz1997 нравится это.
  16. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    - А что значит ноздря в ноздрю? +/- 50 Elo - это ноздря в ноздрю, или уже нет?
    Да и вообще, когда появилась первая Zero нейросетка она была сильнее лучшего AB движка (на тот момент) в матче 1 на 1 как минимум на 70 Elo без книги и как минимум на 50 Elo при игре с книгой.
    - И вообще, развитие движков на месте не стоит, в том числе и нейросетей. Лучшие версии Лилы сейчас будут делать более 100 Elo против того же Stockfish 9, который был сильнейшим около 2-х лет назад, и с которым сеть AlphaZero сыграла только на +52 Elo.
    - И почему мы смотрим CCRL рейтинги, как показатель? Там протестированы последние сети, или подобрано сопоставимое железо? А что насчет формата тестирования? Почему у движков разные соперники, разные дебюты? По какому движку делается ordo расчет?
    Вот этот рейтинг лист, например, в разы точнее и современнее http://www.fastgm.de/16-60-0.6.html
    sovaz1997 нравится это.
  17. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.140
    Симпатии:
    563
    Репутация:
    25
    Адрес:
    Киев
    Оффлайн
    Строго говоря, не доказано.
    Комсюк нравится это.
  18. Мобуту спаситель нации

    • Заслуженный
    • Ветеран
    Рег.:
    15.02.2006
    Сообщения:
    6.445
    Симпатии:
    2.047
    Репутация:
    103
    Адрес:
    Заир
    Оффлайн
    Если предыдущую версию Стокфиша ты обгоняешь, а следующей уступаешь, то это "ноздря в ноздрю", я считаю.
    AlphaZero не участвовала в соревнованиях с независимым арбитражем. Пускай соревнуется с людьми-хвастунами, которые у себя дома бьют движки и так, и сяк, и эдак. А на публике что-то им сливают. )
    Обсуждать можно только Лилу - она участвует в нормальных соревнованиях.
    С дебютами на CCRL всё честно: одну партию белыми - потом этим же дебютом одну партию чёрными с тем же противником. Хотя, наверное, нейросеткам выгоднее было бы играть без дебютных книжек: они сами себе книжки. Насчёт противников - все сильнейшие сыграли друг с другом большие матчи, насколько я понимаю.
    А чем результаты так уж отличаются от CCRL? В блиц Лила и там, и там чуть обходит Стокфиша. С длинным контролем на CCRL Лила чуть отстала, а на FGRL её, похоже, ещё не оценили. На обоих сайтах силы Лилы и Стокфиша очень близки. Подозрительно близки.
  19. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Просто на FastGM более свежие версии сетей и движка для сетей (за счет него тоже идет Elo). Плюс там фиксированное количество партий и их просто больше, чем в CCRL тестах. При этом один и тот же дебютный набор против каждого движка. Это все делает тестирование куда более точным.
    Еще, как я говорил выше, в CCRL несбалансированное железо. В BLITZ преимущество у нейросетей, а в 40/15 уже у AB движков. Так что дело тут далеко не в рапиде и блице, и делать по CCRL какие-либо выводы о разности сил я бы не стал.

    Вообще, вся суть моего поста сводилась к тому, что два всем известных движка идут довольно близко друг к другу за счет того, что они постоянно улучшаются. Поэтому ни одному из них пока не удалось вырваться на целое поколение вперед. Хотя в ближайшее время эта ситуация может измениться.

    Обратите внимание как сейчас стоят те движки, которые прекратили свое развитие:
    Lc0k 0.23.2 256x20-T40-1541 - Houdini 6.03 : +102 =135 -13, 67.8%, +122 Elo
    А ведь еще пару лет назад Houdini даже конкурировал со Стокфишом.
    Или возьмем Комодо, он до сих пор развивается, но недостаточными темпами, и вот результат:
    Lc0k 0.23.2 256x20-T40-1541 - Komodo 13.2.5 : 250 +115 =120 -15, 70.0%, +138 Elo
    Кстати, данная сеть T40-1541 на данный момент не является сильнейшей, и та, что сейчас будет играть в Премьер дивизионе TCEC, по прикидкам, будет показывать на 20-30 Elo лучший перфоманс.
    Undying нравится это.
  20. crem Учаcтник

    • Участник
    Рег.:
    24.11.2016
    Сообщения:
    139
    Симпатии:
    203
    Репутация:
    14
    Оффлайн
    CCRL калибрует количество времени, которое даётся движкам, запуская Crafty и смотря во сколько раз nps выше, чем на каком-то там атлоне 2000 года.
    При этом что там за GPU — в этом никак не учитывается. Поэтому серьёзно к GPU движкам в рейтинге CCRL относиться не надо.

    Если движку не везёт и выпадает машина с современным CPU, времени даётся гораздо меньше несмотря на то что CPU ему не нужен. И наоборот.
    Короче с тестированием GPU движком там полный пипец.
    Комсюк, Undying, Alhimik88 и ещё 1-му нравится это.
  21. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
    Зато доказано, что Сток 8 с хорошей книгой сильнее себя же без книги на 100+ пунктов
    Где-то в цифрах Алхимика неувязочка
    Mustitz нравится это.
  22. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Было 2 матча против SF без книги. В одном играл SF 8, в другом SF 2018.01.13 (практически SF 9). В обоих матчах A0 разгромил Стокфиша, показав никак не меньше +70 Elo перфоманса (там на самом деле было около 100 против одного и другого)
    Далее матч в популярных дебютах против SF8. A0 побеждает с огромным перевесом, показывая примерно тот же перфоманс.
    Стокфиш стал выбираться из 1% зоны побед только когда ему дали Cerebellum book (при этом A0 играл без книги) и в позициях суперфинала TCEC 2016.
    Но и в этих случаях A0 побеждал безоговорочно, но с меньшим перевесом.
    Что касается матча из 1000 партий, в котором A0 показал всего +52 Elo, то авторы статьи отмечали, что в них была низкая вариативность, и больше 90% партий завершались вничью. Они слегка изменили параметр температуры для A0, тем самым вариативность несколько возросла и им удалось поднять процент побед с 5.8% до 14%. Возможно за счет этого матч против SFdev был настолько результативным. В статье нет ответов на все вопросы. Но если интересно, можете поискать.
    https://kstatic.googleusercontent.c...fa990e6f85fd827dcd477845e806f23a17845072dc7bd
    О какой книге идет речь? Cerebellum book что используется в BrainFish? Если она, то я Вас разочарую. Пока не видел ни одного корректного теста этой книги. Дело в том, что большинство запускают BrainFish против Стокфиша на обычном контроле, типа 60+0.6, и, о чудо, Brainfish громит своего собрата без дополнительных мозгов. Однако, мало кто обращает внимание, что у Стокфиша остается примерно половина времени к моменту, когда BF вышел из книги, который, в свою очередь, только наварил время.
    Если и тестировать Cerebellum book на предмет дополнительного Elo, то тест должен быть с фиксированным временем на ход и никак иначе. А таких тестов я не видел. Хотя может что-то и упускаю, и Вы мне покажете.
  23. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
  24. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Открываем в базе любую партию. Для наглядности Cerebellum 081017 - No book. И видим то, о чем я говорил.

    Ходы движка с Cerebellum book делаются за "0" секунд, когда No book тратит время с первого хода.
    В рассматриваемой мною партии Cerebellum не потратил ни секунды до 18-го хода, когда у No book оставалась ровно половина времени. Какая у нас там прибавка за удвоение времени Стокфишу? Они еще и контроль выбрали гениальный - 3'+0''. Чтобы наверняка прихлопнуть безкнижную рыбёшку, если она доживет до цейтнота.
    Кстати, они скорее всего использовали движок Brainfish, который быстрее официальных сборок (скорости в pgn отличаются), может даже версия другая. Правильно использовать один и тот же движок.

    Нет никаких проблем, чтобы протестировать силу книги:
    - Берем Brainfish со включенной книгой (любой) против Brainfish с выключенной.
    - Ставим контроль с фиксированным временем на ход: 1 c/ход, 3 с/ход, 10 c/ход и т.п.
    И вуаля, у нас корректный тест. Почему до этого люди додуматься не могут, я ума не приложу.

    К слову, на известном https://www.sp-cc.de/ BrainFish тоже тестируется некорректно, отсюда и такие завышенные рейтинги.

    Вложения:

  25. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
    Alhimik88, я не говорю про Cerebellum book, это вы начали :)
    я говорю про книги, специально натренированные на безкнижный движок, особенно с известным контролем
    А именно в таких условиях играл Сток с AZ
    Сейчас нет времени, потом найду, но в теме обсуждения этого матча я уже приводил партию с указанного сайта, где безкнижный не вышел из дебюта, было +5, а соперник продолжал играть по книге
    Контроль секунда на ход только облегчит создание такой книжки-киллера
    Так АльфаЗеро и мутузила Вяленого, чередуя Французскую с Новоиндийкой
  26. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
    на Форе, где вы бываете, есть чувачок Роман57 (вроде)
    Так он хвастает победами над Стоком, применяя Стоневаль в первой руке :)
    Сколько партий у него уходит на это, мне неведомо, но тропинку найти можно, если известен контроль
  27. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Другие книги тестируются по такому же принципу, и чем они длиннее и корректнее, тем выше будет преимущество книжного Стокфиша. Чтобы корректно протестировать книгу, в ней, или движке нужно задать некоторый рандомайз.
    И еше, книжка киллер не годится в сравнение. A0 не тренировался против Стокфиша. Да и некоторую рандомность в A0 задавали.
    Но согласен с тем, что если мы на голову лучше в 2-3 дебютах, не значит что мы доминируем и в других вариантах.
    Именно поэтому был показателен тест A0 - SF в популярных дебютах, там счет тоже был разгромным.
  28. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
    там в варианте Паульсена сицилианки Стокфиш был в плюсе, как мне помнится
  29. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
    зато Вяленый с упорством, достойным лучшего применения, пёрся во Французскую (тяжёлый дебют для движков) и запирал с4 ко всему прочему
    Этому и способствовал контроль секунда на ход
    Очень похоже на читерство гугловцев, может быть и неумышленное :)
  30. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Не ну там все таки была минута на ход :)
    Комсюк нравится это.
  31. просроченый_кмс Старожил

    • Участник
    • Старожил
    Рег.:
    15.02.2010
    Сообщения:
    984
    Симпатии:
    81
    Репутация:
    0
    Оффлайн
    Где то в темах видел как лила специально отдаёт фигуры и ставит долго мат, думаю всё решается заданием вполне реального отрубания компа на котором она играет, с вероятностью 0 целых сколько то десятых (тысячных и.п.) на ход в обучении, тогда она будет стараться ставить мат побыстрее.

    Иначе такое когда нибудь точно выйдет боком, з.ы. хотя щас наверно от железа не зависит, всё играется на одном компе. но всё равно, такой микро параметр можно задать.
  32. SKY Учаcтник

    • Участник
    Рег.:
    05.11.2018
    Сообщения:
    157
    Симпатии:
    15
    Репутация:
    1
    Оффлайн
    С Лилой сток сейчас играет с буквами в конце обозначения движка "DC". Что означают эти буквы?
  33. Rom Учаcтник

    • Участник
    Рег.:
    12.02.2012
    Сообщения:
    608
    Симпатии:
    243
    Репутация:
    27
    Оффлайн
    По сути ничего. Хотели сделать версию Стока с раздельным контемптом для игры белыми и черными. Но немного напортачили, и получилось так, что разделение контепмта не работает. То есть всё осталось как было у обычного Стока.
    SKY и Комсюк нравится это.
  34. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.276
    Симпатии:
    16.397
    Репутация:
    1.044
    Нарушения:
    26
    Оффлайн
    оторвать бы ему руки...
  35. Akmavik Новичок

    • Новичок
    Рег.:
    30.04.2020
    Сообщения:
    9
    Симпатии:
    2
    Репутация:
    0
    Оффлайн
    У меня такой вопрос. Я недавно установил Лилу на компьютер и попробовал провести её поединок с другими движками. Во всем случаях Лила начинает играть очень сильно: часто получает инициативу и перевес в пространстве и даже выигранную позицию. А когда наступает реализация перевеса (в эндшпиле) - начинает делать бессмысленные ходы и отдаёт своё преимущество, либо делает ничью. Как будто ей не интересно заматовывать противника. В нескольких партиях против Стокфиша позиция была КР и Л против КР. И она её не выигрывала. Просто ходила туда-сюда королём и ладьёй и всё тут. Т.е. если коротко: сильно разыгрывает дебют и миттельшпиль, а в эндшпиле начинает играть тягомотину (проходные пешки в ферзи не проводит, мат не ставит одинокому королю). В настройках программ (Арена и Фритц 13) ничего не нашёл. Думал, что проблема с файлом сети - пробовал менять - не помогло. Кто-нибудь сталкивался с этим и как исправить проблему? Версия движка: Lc0 - v0.25.0.
    Вот пример её партии.

Поделиться этой страницей