Leela Chess Zero (lc0): турниры, партии, рейтинги...

Тема в разделе "Машинное отделение", создана пользователем vasa, 9 окт 2018.

  1. Challenger Spy Технический специалист

    • Команда форума
    Рег.:
    28.01.2011
    Сообщения:
    4.682
    Симпатии:
    2.587
    Репутация:
    222
    Оффлайн
    Насколько Лила близка к Альфазиро? Результат этого матча можно подвязать к противостоянию Альфы со Стоком или же нет?
  2. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Принцип тот же.
  3. Challenger Spy Технический специалист

    • Команда форума
    Рег.:
    28.01.2011
    Сообщения:
    4.682
    Симпатии:
    2.587
    Репутация:
    222
    Оффлайн
    Вроде говорят даже, что Лила это полный клон Альфы, сделанный по его алгоритму. Но насколько точное тут соответствие? И о чем говорит результат текущего матча?
    1. Лила сделана неправильно, хуже Альфы
    2. Сток заметно усилился с матча с Альфой, Альфа/Лила же достигла предела
    3. Результаты Альфы сомнительны, ибо Лила его полный клон и в открытом равном соперничестве уступает
  4. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Не полный клон, но принципы схожие.
    Как Комодо и Гудини. Движки разные, а принципы те же.
    —- добавлено: 8 фев 2019 —-
    Усилился.
    —- добавлено: 8 фев 2019 —-
    На самом деле там особо делать нечего.
    Например у минимаксных движков очень много всяких поисковых прунингов, свистелок, перделок. Потому одни играют хорошо, а другие плохо.

    В случае с Альфазерой и Лилой там нечего особо нечего выдумывать. По крайней мере пока.
    Запустил ее на обучение, и жди пока она не достигнет определенного потолка.
    Challenger Spy нравится это.
  5. Challenger Spy Технический специалист

    • Команда форума
    Рег.:
    28.01.2011
    Сообщения:
    4.682
    Симпатии:
    2.587
    Репутация:
    222
    Оффлайн
    То есть на текущий момент ситуация выглядит так, что технология нейросетей в заметной степени выбрала свой потенциал, ее усиление за счет новых версий сетей дает небольшой прогресс и очень трудоемко, в то время как стандартные "свистопердельные" движки никакого предела для себя не обнаруживают, ибо костылей можно придумать еще уйму?
  6. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.371
    Симпатии:
    2.809
    Репутация:
    91
    Адрес:
    Москва
    Оффлайн
    После премьер-дивизиона проводили тестовый матч со Стокфишем 8, примерно на тех же условиях, что описаны в статье. Лила показала очень близкий к АльфаЗеро результат. Так что можно считать, что сила игры у них сейчас примерно одинаковая.
    Ход же текущего Суперфинала косвенно показывает, почему ДипМайндовцы за прошедший с первой публикации год особенно не стремились играть против новейших версий Стокфиша :)
    FlashNeo и Challenger Spy нравится это.
  7. Challenger Spy Технический специалист

    • Команда форума
    Рег.:
    28.01.2011
    Сообщения:
    4.682
    Симпатии:
    2.587
    Репутация:
    222
    Оффлайн
    То есть текущая Лила близка к Альфе годовалой давности и прогрессировать ей особенно некуда?
  8. FlashNeo Учаcтник

    • Участник
    Рег.:
    23.11.2018
    Сообщения:
    542
    Симпатии:
    300
    Репутация:
    2
    Оффлайн
    4. Лейла даже чуть сильнее А0, но Сток заметно усилился.

    Результаты Лейлы против той версии Стока, который встречался с А0, были почти идентичными. Тогда играла более старая сеть, сейчас более новая, но и она очевидно слабее Стока (незначительно, но...)

    С учетом постоянного роста Стока в Эло (реальном, а не самоэло, когда сети 3x и 11248 против Стока показывают результат в пределах погрешности) у Лейлы будет еще максимум две попытки, ну может даже три, чтобы взять корону TCEC. Потом Сток слишком уйдет вперед.


    На самом деле даже нынешняя Лейла способна обыграть Сток, если ей выбрать дебюты, близкие к ее оптимальным (французские, староиндийские, тягучие пирца-уфимцева, но лучше всего французские, она их разыгрывает сильно лучше) в соотношении примерно 70/30. Ну а если книга будет 50/50, что примерно половина или чуть менее идут острые варианты, или игра начинается с -0.6 в позиции, где нужна точность - то лейла будет сливать. Где сток делает ничью в королевском гамбите, там Лейла сольет. Да и реверс-киллы тоже бывают, один вон уже случился в остром английском.
    Challenger Spy нравится это.
  9. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Самое главное там не нейросеть, а MCTS.
    —- добавлено: 8 фев 2019 —-
    Никто не знает потолка. Пока прогрессирует.
    http://lczero.org/?full_elo=1
    —- добавлено: 8 фев 2019 —-
    Честно говоря уже невидно куда можно минимаксом уйти, кажется что выжали все что можно ))
    Challenger Spy нравится это.
  10. FlashNeo Учаcтник

    • Участник
    Рег.:
    23.11.2018
    Сообщения:
    542
    Симпатии:
    300
    Репутация:
    2
    Оффлайн
    Безусловно есть куда - там целый набор параметров, которые берутся до обучения. Причем часть из них берется типанаучно, часть - потому что так брал дипмайнд. По идее все это можно протестировать и вроде как усилить сеть. Но здесь в чем загвоздка - обучение идет с нуля, в случае с мощностями Лейлы обучение идет несколько месяцев. Если несколько месяцев тестировать параметр, а он оказался оптимальным (ну так было у дипмайнда, им-то такое количество партий за несколько часов доступно). Т.е столько времени ушло в никуда, а Сток за это время наберет дежурные 15-20 ЭЛО.

    Поэтому я и написал, что если за ближайший год TCEC не возьмет Лейла, то в дальнейшем нужен будет или прорыв в части программирования, или крайне мощное усиление железа (прорыв в выпуске видеокарт). Без этого - увы...

    Каждый год Стокфиш получает примерно 70 ЭЛО и рвет предыдущие версии самого себя и другие движки с большим перевесом.
    В частности он выиграет больше, чем А0, у тех версий, которые проиграли А0... Плюс масштабирование на потоках, плюс сейчас новая методика тестирования патчей появилась, т.е ожидается не 70 ЭЛО за год, а даже больше. Еще есть куда расти.


    P.S те мощности, на которых играют CPU-движки в TCEC, уже выглядят почти устаревшими. Т.е. обновится железо CPU - и нейронным сетям будет куда грустнее...
    Challenger Spy нравится это.
  11. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Усиление железа для минимаксных движков особо роли не играет. Там полезность экспоненциальная.

    Вот для MCTS это актуально, так как там чистый нарост статистики и точность уже по линейному закону возрастает.
  12. Jadn Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.05.2006
    Сообщения:
    3.570
    Симпатии:
    2.457
    Репутация:
    51
    Оффлайн
    AZ играла на тензорных процах, LZ на видюхах. ДипМайндовцы не дали никакой отладочной информации, вроде скорости нод/сек и даже партии не все дали. В общем, тут только гадать можно о соотношении сил.
  13. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Можно подробнее?
    Я немного отстал.
  14. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.371
    Симпатии:
    2.809
    Репутация:
    91
    Адрес:
    Москва
    Оффлайн
    Все равно что-то не верится, что Стокфиш продолжит набирать по 70 пунктов за год ближайшие 5-10 лет. Напоминает расчёт количества конского навоза на улицах Парижа, который к 2000 году должен был составить слой в несколько метров.
    Rom и KEV81 нравится это.
  15. Kirill_A Новичок

    • Новичок
    Рег.:
    09.05.2018
    Сообщения:
    37
    Симпатии:
    22
    Репутация:
    0
    Оффлайн
    Не вижу обоснований для мрачных прогнозов насчет будущего нейросетей и Лилы в частности. Сейчас с последней версией Стокфиш (Stockfish Dev - самая последняя версия, новее 10) играет всего навсего тест30 поколения сетей Лилы. И играет почти на равных и даже выигрывает отдельные некоторые партии. Ну эло 30-40 не хватает еще до уровня Стокфиш (на железе TCEC). Но есть очень важный момент: практически никто из знающих людей и не ожидал, что эта сеть Лилы здесь на голову превзойдет Стокфиш, наоборот - понимали, что здесь есть лишь небольшой шанс (как в случае, если один гроссмейстер может удачно сыграть и выйграть у гроссмейстера, играющего эло на 40 сильнее).
    А теперь я вернусь к главному моменту: тест30 (сеть Лилы из суперфинала со Стокфиш) - это экспериментальное поколение сетей, которое постоянно во время обучения подкручивали, меняли разные параметры, чтобы найти оптимальные. Этот фактор, а также архитектура этих сетей у знающих людей и не вызывала особых иллюзий насчет ее конечной силы, наоборот - приятно удивило, что даже экспериметальное поколение сетей в итоге оказалось довольно сильным и она даже крупно обыграла старенький Стокфиш 8 (хоть это и не мега-достижение, но все же доказала, что результат Альфа Зеро, который с похожим перформансом обыграл Стокфиш 8 - не обман).
    Так вот, поколение сетей Лилы, которое способно превзойти (и скорее всего этого достигнет в скором времени) по силе последнюю версию Стокфиш - это тест40. Тест40 не является экспериментальным. Во время его обучения особого ничего не тестируют и не подкручивают, а используют уже полученные знания их прошлых тестов и из информации от ДипМайнд, чтобы сеть обучалась наилучшим образом. Кроме того, в сетях 40x реализована архитектура нейросетей SE, которой нет даже у Алфа Зеро. Пока еще Лила тест40 находится лишь на втором этапе обучения (из 4-х) и ждать, я думаю, надо примерно месяц-два, перед тем как она значительно превзойдет Стокфиш. Уже сейчас, находясь на очень ранней стадии обучения, эта сеть Лилы близка по уровню к Комодо, Гудини и Стокфиш 8.
    sovaz1997 нравится это.
  16. karasik10 Новичок

    • Новичок
    Рег.:
    25.10.2018
    Сообщения:
    24
    Симпатии:
    5
    Репутация:
    0
    Адрес:
    Рига
    Оффлайн
    Сейчас счет 6-5 , есть еще шанс у Лилы стать чемпионом !
  17. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Для нейросетей вообще прогноз хороший. С чего ты взял что мрачный?

    Для шахматной машины Лилы прогноз уже превзошел ожидания. Тоже вроде не плохо?
  18. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.313
    Симпатии:
    558
    Репутация:
    15
    Оффлайн
    Финал TCEC огонь! Результативность 40% в равном матче. Прям какие-то романтические шахматы. ) Лила демонстрирует новый принцип шахмат - рокировку придумали трусы. В 5 победных партиях трижды вообще не рокировалась и еще в одной сделала рокировку на 30 ходу.
    WinPooh, Rom, karasik10 и ещё 1-му нравится это.
  19. Camon14 Хранитель традиций

    • Заслуженный
    • Ветеран
    Рег.:
    28.05.2012
    Сообщения:
    18.071
    Симпатии:
    10.367
    Репутация:
    663
    Нарушения:
    16
    Оффлайн
    Нейросеть должна проигрывать чистому счету, так же как человек проигрывать слабенькому телефону, потому что принципы выбора хода у сетки как у человека, а значит с существенным изъяном. Абстракция проигрывает конкретике.
  20. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Чистому да.
    Но стокфиш не чистый счет.
    sovaz1997 нравится это.
  21. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Онлайн
    Был бы у SF чистый счет хотя бы на 10-15 ходов, шансов не было бы ни у Лилы, ни у Komodo с Houdini
  22. Camon14 Хранитель традиций

    • Заслуженный
    • Ветеран
    Рег.:
    28.05.2012
    Сообщения:
    18.071
    Симпатии:
    10.367
    Репутация:
    663
    Нарушения:
    16
    Оффлайн
    Ну будет приближён к чистому, не велика разница.
  23. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.313
    Симпатии:
    558
    Репутация:
    15
    Оффлайн
    10 ходов это совсем мало. Для сравнения у Deep Blue был чистый счет ходов на 7-8. Играл совсем слабенько. На уровне белковых шахматистов. :) Да и с 15 ходовым чистым счетом движок будет играть намного слабее, чем Стокфиш и Лила на TCEC'овском железе.
    Kirill_A и pavelgttfj8 нравится это.
  24. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    Даже на горчичное зерно не будет приближен.
    —- добавлено: 9 фев 2019, опубликовано: 9 фев 2019 —-
    Возможно ты путаешь ходы с полу-ходами.
    sovaz1997 нравится это.
  25. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.313
    Симпатии:
    558
    Репутация:
    15
    Оффлайн
    Если бы у Deep Blue был счет на 7-8 полуходов, то даже я бы его обыграл. :) Не то что Каспаров.
  26. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.371
    Симпатии:
    2.809
    Репутация:
    91
    Адрес:
    Москва
    Оффлайн
    Там был чистый аппаратный счёт (без отсечений) в специализированном железе на 7-8 полуходов, который накладывался поверх обычного дерева с эвристиками, который шёл на CPU (их тоже было много). Так что общая глубина получалась вполне достойная.

    http://www.csis.pace.edu/~ctappert/dps/pdf/ai-chess-deep.pdf
    Undying нравится это.
  27. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Онлайн
    WinPooh, вы имеет ввиду, что на 7-8 полуходов просто альфа-бета с сортировками? Просто полный перебор все равно смысла не имеет.
    Кстати, в Hedhehog математически точный поиск (если только хеш-таблица иногда может давать сбой из-за коллизий), при этом поиск достаточно быстрый.
    —- добавлено: 9 фев 2019 —-
    По моим расчетам, чтобы из начальной позиции перебрать на глубину 7 ходов (не полуходов), DeepBlue потребуется 224 секунды (при случае идеальной сортировки ходов). Это будет реальный перебор на 14 полуходов из начальной позиции. Причем реальное время (а не теоретическое) может быть в 5-10 раз больше.
  28. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.313
    Симпатии:
    558
    Репутация:
    15
    Оффлайн
    The Deep Blue chess computer that defeated Kasparov in 1997 would typically search to a depth of between six and eight moves to a maximum of twenty or even more moves in some situations.

    При этом в среднем Deep Blue перебирал 126 миллионов нод в секунду, т.е. в два раза больше, чем Стокфиш на tcec'овском железе. А играл пунктов на 700 слабее. Чистый перебор в шахматах очень неэффективен.
  29. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Онлайн
    Ну, там скорее просто альфа-бета с сортировкой. Либо действительно чистый перебор (все-таки, эта вещь реализовывалась аппаратно и было бы сложнее написать ту же альфа-бета, например).
  30. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.371
    Симпатии:
    2.809
    Репутация:
    91
    Адрес:
    Москва
    Оффлайн
    sovaz1997 нравится это.
  31. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Онлайн
    Всю прочитал :)
    С 319-й страницы все основные технические детали Deep Blue, кому интересно.

    Интересно было бы сравнить оценочную функцию SF и DeepBlue. У DeepBlue она очень сложная и, судя по всему, не реализуемая программно так, чтобы иметь высокую скорость даже на современных ПК. А может быть и наоборот: она слишком перегруженная и для общего усиления можно было бы добрую часть параметров убрать.
  32. KEV81 Учаcтник

    • Участник
    Рег.:
    06.03.2017
    Сообщения:
    240
    Симпатии:
    46
    Репутация:
    6
    Оффлайн
    У меня в таблице не только ход, но и вся позиция целиком, поэтому коллизий в плане лучший-ход-не-в-той-позиции нет, просто иногда не находит позицию с лучшим ходом в таблице.
    Кстати, я временно прикрутил Null move и LMR... на ~200 Elo стало посильнее. Но я еще не закончил скелетную часть.
    sovaz1997 нравится это.
  33. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Онлайн
    Вы всю позицию в таблице сохраняете? Попробуйте без этого, тогда вы намного больше сохраните записей в таблице. Конечно, это надо тестировать тоже.

    В таблице, конечно, надо хранить полный 64-битный ключ позиции, тогда вероятность коллизии будет очень маленькой. Если сохранять только часть ключа, отвечающую за индекс, будет много коллизий.

    А вообще, это тоже очень интересно - написать математически точный движок. Да, он не будет таким сильным, как SF, но при этом будет решать задачи на определенное число ходов всегда и безошибочно.
  34. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.371
    Симпатии:
    2.809
    Репутация:
    91
    Адрес:
    Москва
    Оффлайн
    Есть у меня подозрения, что прогресс в схемотехнике за прошедшие 20 лет позволил бы сейчас аппаратно достичь не 200 миллионов, а 10-100 миллиардов позиций в секунду. И если при этом использовать новые алгоритмы поиска, то 4000 Эло было бы вполне достижимой целью. Только, похоже, это никому не нужно...
    sovaz1997 нравится это.
  35. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Онлайн
    А ведь действительно. Может, какой-то ГМ уже сделал такую (на заказ), и потихоньку разрабатывает дебютную теорию? Конечно, он никому об этом не расскажет))

Поделиться этой страницей