Leela Chess Zero (lc0): турниры, партии, рейтинги...

Discussion in 'Машинное отделение' started by vasa, 10 Oct 2018.

  1. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Они в Пн уже начинают TCEC Cup, не через 1 неделю и 5 дней, а через 4 дня.
     
  2. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Без опенингов Лейла может и 10-ый сток обыграть...
     
    sovaz1997 likes this.
  3. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Вообще без опенингов ИМХО Сток по-прежнему будет сильнее последних сетей Лейлы, но разрыв там будет ну десятка три-четыре ЭЛО.
    С опенингами - все будет куда сложнее, Сток пока однозначно сильнейший движок, и А0, и Лейла еще не не тянут. Ну по крайней мере пока...
     
  4. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    Не факт, в биологии переходные формы плохо приживаются... Например бомбардировщик B-36 имел 6 винтовых и 4 реактивных двигателя, но удачным не был.
     
  5. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    [​IMG]
     
  6. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Итак, после 24 партий Лейла 30-какая-то сеть против Стокфиша 8 текущий счет
    +7 -2 = 15 в пользу Лейлы (60,4% набранных очков).

    Мне лень искать, а сколько в % набрала А0 против восьмого стока? 57,4% же?
     
  7. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    In 100 games from the normal start position, AlphaZero won 25 games as white, won 3 as black, and drew the remaining 72. In a series of twelve 100-game matches (of unspecified time or resource constraints) against Stockfish starting from the 12 most popular human openings, AlphaZero won 290, drew 886 and lost 24.

    Мне лень считать :)
     
  8. Rom
    Оффлайн

    Rom Старожил

    Репутация:
    28
    64% в первом матче. Во втором матче, с нормальным контролем и хэшем - 57,45%
     
  9. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Ну можно считать, что нынешняя Лейла - это почти что А0.
    С восьмым стоком набирает около 60% очков, а десятому стоку близко, но уверенно пролетит.
     
  10. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Так в суперфинале будет играть не та версия, что сейчас с 8-м Стокфишем играет, а более новая сеть. Про неё вообще ничего пока неизвестно. Может, и обыграет.
     
    sovaz1997 likes this.
  11. Undying
    Оффлайн

    Undying Учаcтник

    Репутация:
    15
    Судя по chess.com чемпионату и у этой сетки хорошие шансы против Стокфиша. Там Стокфиш всего 1 очко ведет (+5 -4 = 29). А там и сетка более старая (32425) и Стокфиш на 90 ядрах играет.
     
  12. Undying
    Оффлайн

    Undying Учаcтник

    Репутация:
    15
    Забавная позиция, которую Лила и Стокфиш оценивают противоположно и оба ошибаются:



    Стокфиш 8 оценивает +1.92, Стокфиш Dev +1.39, Лила -1.03
     
  13. hornet
    Оффлайн

    hornet Учаcтник

    Репутация:
    498
  14. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    hornet likes this.
  15. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
     
  16. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Уже привык, хоть и знаю, что правильнее по-другому
     
  17. pavelgttfj8
    Оффлайн

    pavelgttfj8 Учаcтник

    Репутация:
    3
    Что вообще происходит в этой игре? У белых не было выигрыша? Был? Сколько раз за партию?
    SF10 в какой-то момент показывал +2
    1.jpg


    Нотация: https://pastebin.com/1BPFf2UN
     
  18. pavelgttfj8
    Оффлайн

    pavelgttfj8 Учаcтник

    Репутация:
    3
    Нишмогла выиграть позицию, которую sf10 оценивал на -153. Еще учиться надо
    2.jpg



    Нотация: https://pastebin.com/AsTw78cj

    P.S. Пример позиции, которая оценивалась на -153 (тут еще правило 50-ти ходов не поджимает)
    8/8/3p4/3P4/k6p/2K2B1P/6P1/4r3 b - - 45 188
     
    Last edited: 20 Jan 2019
  19. pavelgttfj8
    Оффлайн

    pavelgttfj8 Учаcтник

    Репутация:
    3
    Характерная партия машин, в особенности lc0. На 20- ходу уже была очевидная ничья, но понадобилось 227 ходов до конца.
    Предпоследняя 99-я партия матча lc0-stockfish8, одна из самых тупых.

     
  20. pavelgttfj8
    Оффлайн

    pavelgttfj8 Учаcтник

    Репутация:
    3
    Результат эмуляции матча A0-sf8 показал небольшое преимущество lc0 над a0 - 59.5% против 57,45%.
    Lc0 показала преимущество в 54 эло.
    В принципе она в любом случае должна стать сильнее a0, хотя бы из-за дополнительной фичи поддержки эндшпильных баз.
    Исходя из ссс3 далеко не самая сильная сеть 32xxx отстает на 23 эло от sf10 по результатам личных встреч. Это значит что сети, которую отправят через месяц на матч за первое место tcec вполне по силам занять 1-е место. И тогда история свершится уже совсем скоро.
    Возможно, даже сети 32742 это по силам, которая будет играть в турнире (но это не точно)

    1.jpg
     
    Kirill_A likes this.
  21. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    pavelgttfj8, 67 пунктов по формуле Эло (разница получилпсь). Да и 1-е 5 партий не надо учитывать, на них настройки ещё не стабилизировались.

    Ну а так, интрига в финале действительно будет :)
     
  22. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Не забываем, что Стокфиш в суперфинале тоже более сильный будет, чем даже 10-я версия.
     
  23. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Сети Лилы тоже развиваются Скоро подъедет усиленная на 30 пунктов версия по сравнению 32585. Но это self-play, я сейчас делаю ее тест против ab-движка.

    Вполне возможно, что в TCEC через 3 недели будет играть сеть, которая превзойдет SF. Увидим :)
     
  24. scwosh
    Оффлайн

    scwosh Новичок

    Репутация:
    3
    А может всё таки лучше смотреть результат на сайте этого турнира? Там в таблице Комодо - 24 очка, второе место, Lc0 23.5 очка, третье место. Суперфинал - Стокфиш vs Комодо.
    http://legacy-tcec.chessdom.com/archive.php?se=14&di=4&ga=183
     
  25. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Не знаете - не пишите

    Результаты Комодо МКТС еще задолго до конца турнира были аннулированы, и Лейла вышла в финал
     
    Last edited: 24 Jan 2019
    sovaz1997 likes this.
  26. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Всё-таки, нет.
     
  27. scwosh
    Оффлайн

    scwosh Новичок

    Репутация:
    3
    А может внимательнее будем смотреть в таблицу? Там 2 движка. Комодо МКТС, формально занявший 5-е место и Комодо, занявший 2-е место.
     
  28. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Вычтите результаты против Комодо МКТС у всех движков.
    Подумайте еще раз.
    Внимательно посмотрите в таблицу.
    Признайте свою ошибку.
     
    sovaz1997 likes this.
  29. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    scwosh, предлагаю лично Вам просто дождаться финала и увидеть, кто всё-таки туда вышел :lol:

    Причины, по которым KomodoMCTS не вышел в финал, вроде, озвучили выше. Поэтому смысла спорить нет. Можете продолжить, но итог будет одто - финал SF-Lc0 и спор ни на что не повлияет.
     
  30. karasik10
    Оффлайн

    karasik10 Новичок

    Репутация:
    0
    В режиме игры с форой Лила почему то играет в поддавки . https://lichess.org/01ZShuO3#13

     
  31. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Это потому, что Лила в концентрированной форме выражает определение Бронштейна: "Гроссмейстер - это шахматист, который очень сильно умеет играть знакомые ему позиции". Лила пошла гораздо дальше, она умеет играть только те позиции, которые играла сама с собой. Без ладьи её не тренировали, это с ней не проходили... Тили-тили, трали-вали.

    P.S. Отставив шутки в сторону, я бы назвал эту ситуацию оверфиттингом, переобучением на начальной позиции. Программа открывает не универсальные и объективные законы шахмат, а типовые маршруты фигур и дебютные схемы в одном и том же стартовом положении. Интересно бы взглянуть на Фишер-Лилу, может быть, обучит кто-нибудь...
     
    Rom and SKY like this.
  32. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    Как вариант, все ходы ведут к проигрышу, поэтому выбираем рандомно. Аналогично матование идёт долго.
     
  33. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    То есть это архитектурная ошибка, заложенная на начальном этапе проектирования: считать, что у партии только три исхода, 0, 1 и 1/2. На самом деле мат на 30-м ходу и мат на 150-м - разные по предпочтительности результаты.
     
  34. pavelgttfj8
    Оффлайн

    pavelgttfj8 Учаcтник

    Репутация:
    3
    karasik10, а если получить такую же позицию из начальной с помощью ходов конями?
    Просто она плохо соображает если у нее есть fen и нет истории ходов.
    Пример ниже: боле-менее адекватный ход она делает только после почти 400к нод.


    Code:
    FEN: 5rk1/6pp/1Pp2p2/pqP1p3/BpP5/pN5P/P2N1P2/1KR5 b - - 0 1
    
    Lc0:
    1/2   00:00    12   193   -40,66   h7-h5 c4xb5
    2/3   00:00    23   252   -27,29   e5-e4 c4xb5 e4-e3
    3/4   00:00    176   866   -18,73   f6-f5 c4xb5 e5-e4 b5xc6
    3/4   00:00    198   876   -18,96   Rf8-e8 c4xb5 e5-e4 b5xc6 e4-e3
    4/5   00:00    454   1k   -19,18   e5-e4 c4xb5 e4-e3 f2xe3 c6xb5
    4/5   00:00    561   1k   -19,54   h7-h5 c4xb5 e5-e4 b5xc6 e4-e3 c6-c7
    4/6   00:00    817   1k   -19,10   h7-h5 c4xb5 c6xb5 Ba4xb5 a5-a4 Bb5xa4
    4/6   00:00    1k   1k   -18,73   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5
    5/7   00:00    1k   1k   -18,69   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5
    5/8   00:01    2k   1k   -18,62   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5 a5-a4
    5/9   00:01    2k   2k   -16,76   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3
    6/9   00:01    3k   2k   -13,71   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5 a5-a4 Bb5-c4+
    6/10   00:02    4k   2k   -13,56   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3
    6/10   00:02    4k   2k   -13,26   h7-h5 c4xb5 c6xb5 Ba4xb5 a5-a4 Bb5xa4 e5-e4 Ba4-b5 e4-e3
    6/10   00:02    5k   2k   -13,37   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5 a5-a4 Bb5-c4+ Rf8-f7
    6/10   00:03    6k   2k   -14,52   h7-h6 c4xb5 e5-e4 b5xc6 e4-e3 Ba4-b5 a5-a4 Bb5-d3 a4xb3
    6/11   00:03    7k   2k   -14,52   h7-h6 c4xb5 e5-e4 b5xc6 e4-e3 Ba4-b5 a5-a4 Bb5-d3 a4xb3
    6/11   00:04    8k   2k   -13,88   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5 a5-a4 Bb5-c4+ Rf8-f7
    6/11   00:04    8k   2k   -14,03   h7-h5 c4xb5 c6xb5 Ba4xb5 a5-a4 Bb5xa4 e5-e4 Ba4-b5 e4-e3
    6/11   00:04    9k   2k   -13,98   e5-e4 c4xb5 e4-e3 b5xc6 f6-f5 Ba4-b5 a5-a4 Bb5-c4+ Rf8-f7
    6/11   00:09    19k   2k   -15,55   e5-e4 c4xb5 e4-e3 b5xc6 Kg8-f7 Ba4-b5 a5-a4 Bb5-d3 a4xb3
    6/11   00:14    29k   2k   -15,69   e5-e4 c4xb5 e4-e3 b5xc6 g7-g5 Ba4-b5 a5-a4 Bb5-d3 a4xb3
    6/11   00:20    41k   2k   -16,06   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3 c6-c7
    6/12   00:23    48k   2k   -16,26   e5-e4 c4xb5 e4-e3 b5xc6 Kg8-f7 Ba4-b5 a5-a4 Bb5-d3 a4xb3 Nd2xb3
    7/12   00:27    59k   2k   -16,44   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3 c6-c7 b3-b2
    7/12   00:32    72k   2k   -16,60   e5-e4 c4xb5 e4-e3 b5xc6 Kg8-f7 Ba4-b5 a5-a4 Bb5-d3 a4xb3 Nd2xb3 e3xf2
    7/13   00:36    82k   2k   -16,69   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3 c6-c7 b3-b2 Bd3-c4+
    7/19   02:06    379k   3k   -17,71   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3 c6-c7 b3-b2 Bd3-c4+
    8/19   02:07    381k   3k   -17,71   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3 c6-c7 b3-b2 Bd3-c4+
    8/20   02:09    386k   3k   -17,71   e5-e4 c4xb5 e4-e3 b5xc6 e3xf2 Ba4-b5 a5-a4 Bb5-d3 a4xb3 c6-c7 b3-b2 Bd3-c4+
    8/20   02:11    389k   3k   +2,17   Qb5xa4 Nd2-e4 h7-h6 Rc1-d1 f6-f5 Ne4-d6 Kg8-h7 Rd1-e1 e5-e4 b6-b7 Rf8-b8 Kb1-c2 Rb8xb7 Nd6xb7 Kh7-g6 Nb7-d6 Kg6-f6
    8/21   02:11    390k   3k   +2,16   Qb5xa4 Nd2-e4 h7-h6 Rc1-d1 f6-f5 Ne4-d6 Kg8-h7 Rd1-e1 e5-e4 b6-b7 Rf8-b8 Kb1-c2 Rb8xb7 Nd6xb7 Kh7-g6 Nb7-d6 Kg6-f6
    8/22   02:13    395k   3k   +2,14   Qb5xa4 Nd2-e4 h7-h6 Rc1-d1 f6-f5 Ne4-d6 Kg8-h7 Rd1-e1 e5-e4 b6-b7 Rf8-b8 Kb1-c2 h6-h5 h3-h4 Rb8xb7 Nd6xb7
    8/23   02:16    400k   3k   +2,12   Qb5xa4 Nd2-e4 h7-h6 Rc1-d1 f6-f5 Ne4-d6 Kg8-h7 Rd1-e1 e5-e4 b6-b7 Rf8-b8 Re1-e2 Rb8xb7 Nd6xb7 h6-h5 Kb1-c2 g7-g5
    8/26   02:20    410k   3k   +2,06   Qb5xa4 Nd2-e4 h7-h6 Rc1-d1 f6-f5 Ne4-d6 Kg8-h7 Rd1-e1 e5-e4 b6-b7 Rf8-b8 Re1-e2 Rb8xb7 Nd6xb7 h6-h5 Kb1-c2 g7-g5
    
     
  35. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Это какая-то абсолютная чушь, так в шахматной программе быть не должно. Задача математически точна: позиция фигур на доске задаётся однозначно, требуется найти лучший ход. То, что требуется история ходов (не знаю, для чего - только для детектора повторений?) - это ещё одна несуразность, внесённая в дизайн системы. Пора бы уже этот баг исправить.