Leela Chess Zero (lc0): турниры, партии, рейтинги...

Тема в разделе "Машинное отделение", создана пользователем vasa, 10 окт 2018.

  1. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    А вдруг мощность этого множества такова, что никакая сеть разумных размеров не сможет его запомнить с необходимой для игры точностью? Теорию информации не обманешь, всё-таки есть пределы сжатия данных, даже с потерями, после которых качество резко падает.
  2. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Да и не в эндшпиле дело. Сейчас вот идёт 99-я партия, последний белый цвет у Лилы. На доске сделано 18 ходов, стоит 26 фигур. Стокфиш показывает 0.00, Лила - 0.38 в свою пользу. Я абсолютно уверен, что будет ничья - нулевая оценка Стокфиша оправдывается практически всегда.
    Откуда у Лилы этот безумный супероптимизм, не понимаю. Никакой объективности в оценке шансов противника. Ботвинник бы такой ИИ не одобрил.
  3. FlashNeo Учаcтник

    • Участник
    Рег.:
    23.11.2018
    Сообщения:
    587
    Симпатии:
    309
    Репутация:
    2
    Оффлайн
    Оценка лейлы в шансах на победу не конвертируется напрямую в привычные сантипешки.
    С точки зрения Лейлы там условно 5% на победу, 1% на поражение и 94% на ничью - и как это она должна отобразить в том, что нужно вам? Там какая-то тангенсоподобная функция была, она косо-криво, но переводит. Но 0.00 с точки зрения Лейлы будет позиция, где математически невозможно поражение любой из сторон, даже разноцветные слоны без двух пешек - это 0.03 или что-то около того.

    Думаю, если поставить задачу, то можно написать более точную функцию перевода оценки Лейлы в привычные сантипешки (и некоторыми дополнительными if-else добить оценку в сантипешках до нуля). Но зачем?
  4. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Меня устроит любая оценка Лилы, если она шансы на свою победу при оценке Стокфиша 0.00 не будет считать выше, чем шансы противника.
    Хоть O-O-100, хоть 25-25-50, хоть 50-50-0.
  5. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Зачем? Да хотя бы чтобы в анализе её можно было нормально использовать, не гоняясь за несуществующим перевесом.
  6. Strat7 Учаcтник

    • Участник
    Рег.:
    06.05.2017
    Сообщения:
    806
    Симпатии:
    371
    Репутация:
    11
    Оффлайн
    Тогда лила никогда не выиграет. Ведь именно в разнице оценок и состоит победа одной или другой программ - одна считает позицию ничейной, вторая видит победу и ходит по выигрышному, потом оценка ничейная резко вдруг изчезает.
  7. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Может, я невнимательно слежу за матчем, но что-то не замечал, чтобы 0.00 у Стокфиша куда-то исчезали. В проигранных партиях он имел хуже с раздачи, и не мог защитить.
  8. FlashNeo Учаcтник

    • Участник
    Рег.:
    23.11.2018
    Сообщения:
    587
    Симпатии:
    309
    Репутация:
    2
    Оффлайн
    Внутренняя оценка Лейлы не поменяется никак.
    А вот внешнюю функцию могут и должны переписать, чтобы она конвертировала оценку более точно, и при определенных шансах на ничью писала вместо 0.02 0.00.
    Но судя по сообщениям crem, это далеко не первейший приоритет, и ИМХО этого еще долго не будет. Естественно, все это у него надо спрашивать.
  9. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Стать движком номер 1 для анализа на компьютерах всех шахматных профессионалов - не приоритет? Ну да, скачки среди беговых лошадей куда интереснее...
  10. FlashNeo Учаcтник

    • Участник
    Рег.:
    23.11.2018
    Сообщения:
    587
    Симпатии:
    309
    Репутация:
    2
    Оффлайн
    В заявленных целях при создании Лейлы ничего не было про топ-1 движок для анализа у профессионалов, ставилась задача стать сильнейшим движком и обогнать стокфиш за год (или чуть больше, уже не помню).
  11. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Ну вот сейчас - уже за 30 ходов, у Стока все те же 0.00, у Лилы +0.20. Это значит, в тестовых ролл-аутах белые выигрывают чаще, чем чёрные. И тут возникает вопрос - а почему? При том, что позиция объективно ничейная. Чёрные в самоигре Лилы специально поддаются?
  12. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    преимущество первого хода
  13. Alexander Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    12.02.2006
    Сообщения:
    3.389
    Симпатии:
    1.291
    Репутация:
    33
    Оффлайн
    В анализе ориентироваться главным образом на число - порочная практика
    Alhimik88 и sovaz1997 нравится это.
  14. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Безумная вера в вяленого :) Я видел огромное количество партий, где 0.00 Стокфиша (SF) резко меняется, иногда даже на решающий перевес одной из сторон. Вот вам партии из текущего суперфинала TCEC
    1) http://legacy-tcec.chessdom.com/archive.php?se=14&sf&ga=27
    2) http://legacy-tcec.chessdom.com/archive.php?se=14&sf&ga=87
    Последняя партия особенно примечательна, так как 0.00 рисовал также Bluefish (SF на 176 потоках + PB + 7 фигурные таблицы).
    Вообще 0.00 от SFэто не информативная оценка. Я даже не совсем понимаю, как она складывается. На мой взгляд очень сложно получить не форсированную позицию, где будет соблюдаться полный эквивалент. В дебюте и миттельшпиле 0.00 это вообще неправильная и вредная для анализа оценка, если нет форсированных вариантов приводящих к ничьей.

    Для идеальной игры? Возможно и такова. Хотя мы никак не можем сделать такой вывод. Паттерны на то и паттерны, чтобы объединить в себя множество позиций, а вот сколько их влезает в определенные правила на данном этапе сказать невозможно. Может быть и все позиции влезут. В шахматах все таки множество принципов и тенденций. К тому же большая часть возможных позиций состоит из бесполезного мусора, который можно сразу же отбросить.
    Но другое дело, что до идеальной игры еще очень далеко, а вот задача получить уровень SF в эндшпиле думаю более чем решаемая в ближайшем будущем.

    У Lc0 не перфектная оценка, она своей нейронной эвристикой оценивает, что шансы белых чуть-чуть выше. И эта оценка лучше, чем 0.00 которая ни о чем не говорит. Мы же в жизни не против Стокфиша играем. Чем лучше построена нейронная сеть и чем больше она тренировалась, тем вероятнее более точные оценки она будет получать. Более того, текущая оценка Lc0 это всегда шансы на победу одной из сторон, оставшиеся проценты идут в вероятность ничьей. И это по сути неправильно, так как в большинстве позиций обе стороны должны иметь шансы на выигрыш. В будущих сетях планируется использовать именно такой вывод вероятности.
    И вообще что такое +0.3 от Cтокфиша ? Как это интерпретировать? А +1? Мы имеем преимущество эквивалентное одной пешки? Но ведь во многих позициях это может быть решающим перевесом, когда в других верная ничья. И как показывает тот же суперфинал TCEC многие высокие оценки SF типа +1.25, +1.5 и даже выше +2 нередко приводили к ничьей. Я как то видел +3.5 и +4.5 (причем не с резкими перепадами, а на протяжении нескольких ходов) против Lc0, правда в турнирах СССС, и партии заканчивались в ничью.

    На текущий момент Lc0 прекрасный инструмент в анализе, и, как и в случаи с AB+HW движками, вам следует двигаться туда, где оценки выше. Да, Lc0 придется проверять с помощью SF на тактику, длинные счетные варианты и ничейные тенденции эндшпилей. Так вы просто получите значительно лучший анализ. Но даже анализируя без движка куратора вы не много потеряете, так как со всеми своими плюсами и минусами Lc0 всего на пунктов 10-15 уступает последнему вяленому. Ну и конечно же голову нужно включать, некоторые позиции человек понимает лучше всех движков и даже нейронных сетей.
    Undying и sovaz1997 нравится это.
  15. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Как это 0.0 ни о чем не говорит? Она говорит о том, что будет ничья. Вот в текущей партии она как появилась ходу на 18-м, так уже ходов 30 и держится. И продержится до конца партии, я вам обещаю.
  16. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Што это?
  17. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    http://legacy-tcec.chessdom.com/archive.php?se=14&sf&ga=87 вы вот эту партию посмотрите. Да, она закончилась в ничью, но утверждаю, что позиция до хода 41. Kd3 выиграна за белых, 41. Kf2!! давал решающий перевес.
    То, что у Стофиша часто 0.00 довольно точны - это да, но далеко не всегда, как и оценки типа +1.5 тоже далеко не всегда приводят к победе. Не стоит разделять их, Стокфиш далеко не идеален.
    Alpha-Beta-pruning алгоритм поиска + handwritten эвристика :), иными словами большинство современных движков, в том числе и Стокфиш.
  18. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Винни, все хорошо, успокойся ))
    Ты просто разговариваешь с адептом модной развивающийся сектой свидетелей Лилы ))
    —- добавлено: 23 фев 2019 —-
    а Лила?
    —- добавлено: 23 фев 2019, опубликовано: 23 фев 2019 —-
    Нет такого алгоритма поиска
    —- добавлено: 23 фев 2019 —-
    а это что за зверь?
  19. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Так, в каком месте я писал, что Лила идеальна? И вообще, причем тут секта, фанатизм и прочее? Проект Lc0 мне интересен, потому что это нечто новое в мире шахмат, с очевидно высоким потенциалом, вопрос только в том насколько высоким. Если у вас есть реальные аргументы против того, что я сказал, то приводите пожалуйста.
    И вообще я последний раз вам отвечаю, если продолжите детские нападки и передергивание. Вы в основном, как затычка выступаете :) Хорошо, я поправил Alpha-Beta алгорим поиска на Alpha-Beta отсечение.
    sovaz1997 нравится это.
  20. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    не возбуждайся
  21. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Продолжаю оставаться при мнении, что нейросетевая оценка - это большой шаг вперёд, а вот алгоритм MCTS - узкое место и (пока) неизбежное зло. Надеюсь, ему найдут работающую альтернативу, и сильные NN-движки будут приближаться по точности счёта к альфа-бете.
  22. Alhimik88 Новичок

    • Новичок
    Рег.:
    10.06.2009
    Сообщения:
    81
    Симпатии:
    35
    Репутация:
    1
    Оффлайн
    Я имел ввиду, что при 0.00 нам как бы должно быть все равно за какую сторону играть, но в огромном количестве случаев это не так. Человек к примеру может сказать - позиция объективно ничейная, но я бы выбрал белых, играть проще, да и слон против коня в некоторых вариантах даст шансы на победу, у Лилы нечто похожее с подобным представлением позиции, только выражено математически.
  23. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Но пока нет достойной замены MCTS на что-то еще, можно просто улучшать MCTS :)
    Который, похоже, пока особо не трогали.
  24. GKA Старожил

    • Участник
    • Старожил
    Рег.:
    05.11.2009
    Сообщения:
    1.280
    Симпатии:
    523
    Репутация:
    6
    Оффлайн
    Думаю верная оценка что то среднее между этими движками.)))
  25. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    А 40X уже близка :)

    Код:
    tc=1+1, RTX 2070 (20knps for T30)
       # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
       1 lc0.net.32194    :       0     11   325.0     600  54.2      96  107  436   57
       2 lc0.net.40989    :     -23     21    93.5     200  46.8      58   20  147   33
       3 lc0.net.41075    :     -27     20    92.5     200  46.2      76   17  151   32 [Latest]
       4 lc0.net.41048    :     -39     21    89.0     200  44.5     —-   20  138   42
    
    *32194 играла в Премьер-дивизионе
  26. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    upload_2019-2-23_19-45-8.png

    не выдерживаем критику? Болезненное самолюбие?
  27. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Ну что же, последняя партия. Сумеет ли Лила по заказу выиграть чёрными, имея с раздачи +1 не в свою пользу?
  28. pavelgttfj8 Учаcтник

    • Участник
    Рег.:
    07.12.2017
    Сообщения:
    288
    Симпатии:
    89
    Репутация:
    3
    Оффлайн
    Сейчас антифиш, основанный на сети 32930 порвал за черных стокфиш в первой же игре (оценка на выходе из дебюта была +0.5 если что). Причем интересна была противоположная оценка типа +1, -1


    1.jpg
    То что антифиш (той же сети) сильнее Лилы было понятно еще во время игр cccc.
    Так что идея после предела самообучения полировать сеть играми со стокфишем очень хорошая.
    Если бы так сделали на официальном уровне, возможно сейчас бы именно Лила была бы чемпионом.
  29. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    pavelgttfj8, разница между сетями все равно небольшая. Также, обратите внимание на контроль времени. Поэтому и выиграла черными))
    А так, TCEC не выявил, какой движок действительно сильнее - Stockfish или Лила (на их железе).
  30. Мобуту спаситель нации

    • Заслуженный
    • Ветеран
    Рег.:
    15.02.2006
    Сообщения:
    6.837
    Симпатии:
    3.681
    Репутация:
    127
    Адрес:
    Заир
    Оффлайн
    Итог матча +9 - 10 = 81.
    Наверное, шахматистам пока рановато бежать за крутыми видеокартами наперегонки с геймерами.

    В научной статье про АльфаЗеро нейросеть громит классический движок.
    А в поединке на нейтральной площадке нейросетка оказалась чуть слабее Стокфиша.
    Наверное, за Дип Майнд надо сказать, что Лила не имеет отношения к Альфе, и что вообще спортивное мерянье известно чем не имеет никакого отношения к возвышенной науке.
    Michael-13 нравится это.
  31. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.527
    Симпатии:
    1.246
    Репутация:
    33
    Адрес:
    Киев
    Оффлайн
    Имхо, наоборот, матч показал, что им следует бежать за крутыми видеокартами, потому как Lc0 играет почти на равных со Stockfish, а движки достаточно отличаются по стилю, поэтому есть риск проиграть партию только потому, что Stockfish не показал ничего, а Lc0 подсказала сопернику хорошую идею.

    С другой стороны, A0 играла на 4TPU, а это ещё плюс несколько пунктов рейтинга, плюс нейросеть другая.
    Undying и sovaz1997 нравится это.
  32. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Почитайте про погрешности измерений. Невозможно сказать о том, кто сильнее, при текущем раскладе.
    Alhimik88 нравится это.
  33. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Результаты матча таковы: оба движка играли в адову силу. 100 партий не выявили явного фаворита.
    От меня: Оба подхода находятся на грани своих возможностей. Будущее развитие скорее всего гибридизация.
  34. Edwards Ветеран

    • Ветеран
    Рег.:
    11.02.2006
    Сообщения:
    6.331
    Симпатии:
    323
    Репутация:
    21
    Адрес:
    CПб
    Оффлайн
    Пока, может быть, и рановато.
    Но на меня матч произвёл как раз впечатление сильное - впечатление именно что вехи в развитии компьютерных шахмат.

    Понятно, что веху эту предварял матч(матчи) АльфыЗеро.
    Но тот матч по понятным причинам был воспринят в шахматном сообществе как вести с другой планеты. Мол, очень интересно, но пока не про нас.

    А вот Лёля - она уже здесь, среди нас.
    И результат матча неплох. И главное, содержание показывает, что у Лёли, похоже, действительно есть ресурс, чтобы превзойти традиционные движки.
    Есть своя "бессмертная" партия - с выигрышем в разноцвете без трёх.
    Содержательно это нечто совершенно иное, нежели раньше.
    Условные "Стокфиш против Комодо", имхо, поражали нас прежде всего тем, что способны были аки акробаты держать по пол-комплекта под взаимными боями. На такую игру (со сравнимой точностью) ни один человек не способен - но идеологически она понятна.
    А Лёля (вслед за Альфой) делает другое: расширяет горизонты, уходит в дальний позиционный космос.

    Надо ей, конечно, ещё усилиться, повторить ещё Альфовские достижения с жертвами целых фигур почти ни за что.
    Но, учитывая тенденции, верится, что она скоро это сделает.
    scwosh и WinPooh нравится это.
  35. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.527
    Симпатии:
    1.246
    Репутация:
    33
    Адрес:
    Киев
    Оффлайн
    Кстати, Лилаштейн, которая разминалась в TCEC после сезона, что за сеть?

Поделиться этой страницей