Leela Chess Zero (lc0): турниры, партии, рейтинги...

Discussion in 'Машинное отделение' started by vasa, 10 Oct 2018.

  1. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    А вдруг мощность этого множества такова, что никакая сеть разумных размеров не сможет его запомнить с необходимой для игры точностью? Теорию информации не обманешь, всё-таки есть пределы сжатия данных, даже с потерями, после которых качество резко падает.
     
  2. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Да и не в эндшпиле дело. Сейчас вот идёт 99-я партия, последний белый цвет у Лилы. На доске сделано 18 ходов, стоит 26 фигур. Стокфиш показывает 0.00, Лила - 0.38 в свою пользу. Я абсолютно уверен, что будет ничья - нулевая оценка Стокфиша оправдывается практически всегда.
    Откуда у Лилы этот безумный супероптимизм, не понимаю. Никакой объективности в оценке шансов противника. Ботвинник бы такой ИИ не одобрил.
     
  3. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Оценка лейлы в шансах на победу не конвертируется напрямую в привычные сантипешки.
    С точки зрения Лейлы там условно 5% на победу, 1% на поражение и 94% на ничью - и как это она должна отобразить в том, что нужно вам? Там какая-то тангенсоподобная функция была, она косо-криво, но переводит. Но 0.00 с точки зрения Лейлы будет позиция, где математически невозможно поражение любой из сторон, даже разноцветные слоны без двух пешек - это 0.03 или что-то около того.

    Думаю, если поставить задачу, то можно написать более точную функцию перевода оценки Лейлы в привычные сантипешки (и некоторыми дополнительными if-else добить оценку в сантипешках до нуля). Но зачем?
     
  4. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Меня устроит любая оценка Лилы, если она шансы на свою победу при оценке Стокфиша 0.00 не будет считать выше, чем шансы противника.
    Хоть O-O-100, хоть 25-25-50, хоть 50-50-0.
     
    Last edited: 23 Feb 2019
  5. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Зачем? Да хотя бы чтобы в анализе её можно было нормально использовать, не гоняясь за несуществующим перевесом.
     
  6. Strat7
    Оффлайн

    Strat7 Учаcтник

    Репутация:
    11
    Тогда лила никогда не выиграет. Ведь именно в разнице оценок и состоит победа одной или другой программ - одна считает позицию ничейной, вторая видит победу и ходит по выигрышному, потом оценка ничейная резко вдруг изчезает.
     
  7. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Может, я невнимательно слежу за матчем, но что-то не замечал, чтобы 0.00 у Стокфиша куда-то исчезали. В проигранных партиях он имел хуже с раздачи, и не мог защитить.
     
  8. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Внутренняя оценка Лейлы не поменяется никак.
    А вот внешнюю функцию могут и должны переписать, чтобы она конвертировала оценку более точно, и при определенных шансах на ничью писала вместо 0.02 0.00.
    Но судя по сообщениям crem, это далеко не первейший приоритет, и ИМХО этого еще долго не будет. Естественно, все это у него надо спрашивать.
     
  9. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Стать движком номер 1 для анализа на компьютерах всех шахматных профессионалов - не приоритет? Ну да, скачки среди беговых лошадей куда интереснее...
     
  10. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    В заявленных целях при создании Лейлы ничего не было про топ-1 движок для анализа у профессионалов, ставилась задача стать сильнейшим движком и обогнать стокфиш за год (или чуть больше, уже не помню).
     
  11. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Ну вот сейчас - уже за 30 ходов, у Стока все те же 0.00, у Лилы +0.20. Это значит, в тестовых ролл-аутах белые выигрывают чаще, чем чёрные. И тут возникает вопрос - а почему? При том, что позиция объективно ничейная. Чёрные в самоигре Лилы специально поддаются?
     
  12. KEV81
    Оффлайн

    KEV81 Учаcтник

    Репутация:
    6
    преимущество первого хода
     
  13. Alexander
    Оффлайн

    Alexander баннер

    Репутация:
    43
    В анализе ориентироваться главным образом на число - порочная практика
     
    Alhimik88 and sovaz1997 like this.
  14. Alhimik88
    Оффлайн

    Alhimik88 Новичок

    Репутация:
    1
    Безумная вера в вяленого :) Я видел огромное количество партий, где 0.00 Стокфиша (SF) резко меняется, иногда даже на решающий перевес одной из сторон. Вот вам партии из текущего суперфинала TCEC
    1) http://legacy-tcec.chessdom.com/archive.php?se=14&sf&ga=27
    2) http://legacy-tcec.chessdom.com/archive.php?se=14&sf&ga=87
    Последняя партия особенно примечательна, так как 0.00 рисовал также Bluefish (SF на 176 потоках + PB + 7 фигурные таблицы).
    Вообще 0.00 от SFэто не информативная оценка. Я даже не совсем понимаю, как она складывается. На мой взгляд очень сложно получить не форсированную позицию, где будет соблюдаться полный эквивалент. В дебюте и миттельшпиле 0.00 это вообще неправильная и вредная для анализа оценка, если нет форсированных вариантов приводящих к ничьей.

    Для идеальной игры? Возможно и такова. Хотя мы никак не можем сделать такой вывод. Паттерны на то и паттерны, чтобы объединить в себя множество позиций, а вот сколько их влезает в определенные правила на данном этапе сказать невозможно. Может быть и все позиции влезут. В шахматах все таки множество принципов и тенденций. К тому же большая часть возможных позиций состоит из бесполезного мусора, который можно сразу же отбросить.
    Но другое дело, что до идеальной игры еще очень далеко, а вот задача получить уровень SF в эндшпиле думаю более чем решаемая в ближайшем будущем.

    У Lc0 не перфектная оценка, она своей нейронной эвристикой оценивает, что шансы белых чуть-чуть выше. И эта оценка лучше, чем 0.00 которая ни о чем не говорит. Мы же в жизни не против Стокфиша играем. Чем лучше построена нейронная сеть и чем больше она тренировалась, тем вероятнее более точные оценки она будет получать. Более того, текущая оценка Lc0 это всегда шансы на победу одной из сторон, оставшиеся проценты идут в вероятность ничьей. И это по сути неправильно, так как в большинстве позиций обе стороны должны иметь шансы на выигрыш. В будущих сетях планируется использовать именно такой вывод вероятности.
    И вообще что такое +0.3 от Cтокфиша ? Как это интерпретировать? А +1? Мы имеем преимущество эквивалентное одной пешки? Но ведь во многих позициях это может быть решающим перевесом, когда в других верная ничья. И как показывает тот же суперфинал TCEC многие высокие оценки SF типа +1.25, +1.5 и даже выше +2 нередко приводили к ничьей. Я как то видел +3.5 и +4.5 (причем не с резкими перепадами, а на протяжении нескольких ходов) против Lc0, правда в турнирах СССС, и партии заканчивались в ничью.

    На текущий момент Lc0 прекрасный инструмент в анализе, и, как и в случаи с AB+HW движками, вам следует двигаться туда, где оценки выше. Да, Lc0 придется проверять с помощью SF на тактику, длинные счетные варианты и ничейные тенденции эндшпилей. Так вы просто получите значительно лучший анализ. Но даже анализируя без движка куратора вы не много потеряете, так как со всеми своими плюсами и минусами Lc0 всего на пунктов 10-15 уступает последнему вяленому. Ну и конечно же голову нужно включать, некоторые позиции человек понимает лучше всех движков и даже нейронных сетей.
     
    Undying and sovaz1997 like this.
  15. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Как это 0.0 ни о чем не говорит? Она говорит о том, что будет ничья. Вот в текущей партии она как появилась ходу на 18-м, так уже ходов 30 и держится. И продержится до конца партии, я вам обещаю.
     
  16. KEV81
    Оффлайн

    KEV81 Учаcтник

    Репутация:
    6
    Што это?
     
  17. Alhimik88
    Оффлайн

    Alhimik88 Новичок

    Репутация:
    1
    http://legacy-tcec.chessdom.com/archive.php?se=14&sf&ga=87 вы вот эту партию посмотрите. Да, она закончилась в ничью, но утверждаю, что позиция до хода 41. Kd3 выиграна за белых, 41. Kf2!! давал решающий перевес.
    То, что у Стофиша часто 0.00 довольно точны - это да, но далеко не всегда, как и оценки типа +1.5 тоже далеко не всегда приводят к победе. Не стоит разделять их, Стокфиш далеко не идеален.
    Alpha-Beta-pruning алгоритм поиска + handwritten эвристика :), иными словами большинство современных движков, в том числе и Стокфиш.
     
    Last edited: 23 Feb 2019
  18. KEV81
    Оффлайн

    KEV81 Учаcтник

    Репутация:
    6
    Винни, все хорошо, успокойся ))
    Ты просто разговариваешь с адептом модной развивающийся сектой свидетелей Лилы ))
    —- добавлено: 23 Feb 2019 —-
    а Лила?
    —- добавлено: 23 Feb 2019, опубликовано: 23 Feb 2019 —-
    Нет такого алгоритма поиска
    —- добавлено: 23 Feb 2019 —-
    а это что за зверь?
     
  19. Alhimik88
    Оффлайн

    Alhimik88 Новичок

    Репутация:
    1
    Так, в каком месте я писал, что Лила идеальна? И вообще, причем тут секта, фанатизм и прочее? Проект Lc0 мне интересен, потому что это нечто новое в мире шахмат, с очевидно высоким потенциалом, вопрос только в том насколько высоким. Если у вас есть реальные аргументы против того, что я сказал, то приводите пожалуйста.
    И вообще я последний раз вам отвечаю, если продолжите детские нападки и передергивание. Вы в основном, как затычка выступаете :) Хорошо, я поправил Alpha-Beta алгорим поиска на Alpha-Beta отсечение.
     
    sovaz1997 likes this.
  20. KEV81
    Оффлайн

    KEV81 Учаcтник

    Репутация:
    6
    не возбуждайся
     
  21. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Продолжаю оставаться при мнении, что нейросетевая оценка - это большой шаг вперёд, а вот алгоритм MCTS - узкое место и (пока) неизбежное зло. Надеюсь, ему найдут работающую альтернативу, и сильные NN-движки будут приближаться по точности счёта к альфа-бете.
     
  22. Alhimik88
    Оффлайн

    Alhimik88 Новичок

    Репутация:
    1
    Я имел ввиду, что при 0.00 нам как бы должно быть все равно за какую сторону играть, но в огромном количестве случаев это не так. Человек к примеру может сказать - позиция объективно ничейная, но я бы выбрал белых, играть проще, да и слон против коня в некоторых вариантах даст шансы на победу, у Лилы нечто похожее с подобным представлением позиции, только выражено математически.
     
  23. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Но пока нет достойной замены MCTS на что-то еще, можно просто улучшать MCTS :)
    Который, похоже, пока особо не трогали.
     
  24. GKA
    Онлайн

    GKA Старожил

    Репутация:
    6
    Думаю верная оценка что то среднее между этими движками.)))
     
  25. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    А 40X уже близка :)

    Code:
    tc=1+1, RTX 2070 (20knps for T30)
       # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
       1 lc0.net.32194    :       0     11   325.0     600  54.2      96  107  436   57
       2 lc0.net.40989    :     -23     21    93.5     200  46.8      58   20  147   33
       3 lc0.net.41075    :     -27     20    92.5     200  46.2      76   17  151   32 [Latest]
       4 lc0.net.41048    :     -39     21    89.0     200  44.5     —-   20  138   42
    
    *32194 играла в Премьер-дивизионе
     
  26. KEV81
    Оффлайн

    KEV81 Учаcтник

    Репутация:
    6
    upload_2019-2-23_19-45-8.png

    не выдерживаем критику? Болезненное самолюбие?
     
  27. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Ну что же, последняя партия. Сумеет ли Лила по заказу выиграть чёрными, имея с раздачи +1 не в свою пользу?
     
  28. pavelgttfj8
    Оффлайн

    pavelgttfj8 Учаcтник

    Репутация:
    3
    Сейчас антифиш, основанный на сети 32930 порвал за черных стокфиш в первой же игре (оценка на выходе из дебюта была +0.5 если что). Причем интересна была противоположная оценка типа +1, -1


    1.jpg
    То что антифиш (той же сети) сильнее Лилы было понятно еще во время игр cccc.
    Так что идея после предела самообучения полировать сеть играми со стокфишем очень хорошая.
    Если бы так сделали на официальном уровне, возможно сейчас бы именно Лила была бы чемпионом.
     
    Last edited: 24 Feb 2019
  29. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    pavelgttfj8, разница между сетями все равно небольшая. Также, обратите внимание на контроль времени. Поэтому и выиграла черными))
    А так, TCEC не выявил, какой движок действительно сильнее - Stockfish или Лила (на их железе).
     
  30. Мобуту
    Оффлайн

    Мобуту спаситель нации баннер

    Репутация:
    142
    Итог матча +9 - 10 = 81.
    Наверное, шахматистам пока рановато бежать за крутыми видеокартами наперегонки с геймерами.

    В научной статье про АльфаЗеро нейросеть громит классический движок.
    А в поединке на нейтральной площадке нейросетка оказалась чуть слабее Стокфиша.
    Наверное, за Дип Майнд надо сказать, что Лила не имеет отношения к Альфе, и что вообще спортивное мерянье известно чем не имеет никакого отношения к возвышенной науке.
     
    Michael-13 likes this.
  31. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    Имхо, наоборот, матч показал, что им следует бежать за крутыми видеокартами, потому как Lc0 играет почти на равных со Stockfish, а движки достаточно отличаются по стилю, поэтому есть риск проиграть партию только потому, что Stockfish не показал ничего, а Lc0 подсказала сопернику хорошую идею.

    С другой стороны, A0 играла на 4TPU, а это ещё плюс несколько пунктов рейтинга, плюс нейросеть другая.
     
    Undying and sovaz1997 like this.
  32. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Почитайте про погрешности измерений. Невозможно сказать о том, кто сильнее, при текущем раскладе.
     
    Alhimik88 likes this.
  33. KEV81
    Оффлайн

    KEV81 Учаcтник

    Репутация:
    6
    Результаты матча таковы: оба движка играли в адову силу. 100 партий не выявили явного фаворита.
    От меня: Оба подхода находятся на грани своих возможностей. Будущее развитие скорее всего гибридизация.
     
  34. Edwards
    Оффлайн

    Edwards Старожил

    Репутация:
    21
    Пока, может быть, и рановато.
    Но на меня матч произвёл как раз впечатление сильное - впечатление именно что вехи в развитии компьютерных шахмат.

    Понятно, что веху эту предварял матч(матчи) АльфыЗеро.
    Но тот матч по понятным причинам был воспринят в шахматном сообществе как вести с другой планеты. Мол, очень интересно, но пока не про нас.

    А вот Лёля - она уже здесь, среди нас.
    И результат матча неплох. И главное, содержание показывает, что у Лёли, похоже, действительно есть ресурс, чтобы превзойти традиционные движки.
    Есть своя "бессмертная" партия - с выигрышем в разноцвете без трёх.
    Содержательно это нечто совершенно иное, нежели раньше.
    Условные "Стокфиш против Комодо", имхо, поражали нас прежде всего тем, что способны были аки акробаты держать по пол-комплекта под взаимными боями. На такую игру (со сравнимой точностью) ни один человек не способен - но идеологически она понятна.
    А Лёля (вслед за Альфой) делает другое: расширяет горизонты, уходит в дальний позиционный космос.

    Надо ей, конечно, ещё усилиться, повторить ещё Альфовские достижения с жертвами целых фигур почти ни за что.
    Но, учитывая тенденции, верится, что она скоро это сделает.
     
    scwosh and WinPooh like this.
  35. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    Кстати, Лилаштейн, которая разминалась в TCEC после сезона, что за сеть?