AlphaZero. Нейронная сеть играет в шахматы

Проще просто обучить Лилу малофигурным эндшпилям. После обучения они будут элементарны для нейронки.

—- добавлено: 21 Sep 2018 —-

Движки второго эшелона уже громит. А штамповать ничьи с топами тоже неплохо для начала.

WinPooh, нейросетка это не эндшпильные базы это скорее набор правил для игры в эндшпиле.

Ну... там с окончаниями много нюансов. Во-первых, нейросеть имеет ограниченную мощность, которую лучше потратить на миттельшпильные позиции. Во-вторых, эндшпильных позиций меньше в обучающей выборке. В-третьих, эндшпиль сложен для игры, поэтому оценка для него берёться из статистики доигрываний, где велика вероятность ошибочного результата.

В многофигурных эндшпилях Лила же сильно играет. А малофигурные проще намного.

—- добавлено: 21 Sep 2018 —-

Конечно, в силу таблиц Налимова нейронка играть не будет. Так в эту силу и алгоритмические движки не играют. Если нейронку обучить, то играть в малофигурных эндшпилях она будет очень сильно, но конечно не идеально.

Если это окажется критичным, можно для эндшпилей отдельную нейронку натренировать и переключаться на нее, когда до эндшпиля дело доходит.

Так в этом положении Лила досчитала до малофигурок и посчитала, что там все хорошо. Это все та же проблема.

Да что тот рейтинг сегодня лила рухнул резко вниз. З чем ето связано? http://lczero.org

Как я понял они изменили какой-то параметр в результате временное(?) падение силы игры.

Интересно, а настройки обучения (и другие параметры ) масштабируются на сеть большего размера?
Можно ли отработать все это дело например на сетях 6х64 и 10х128 и потом уже с этими настройками обучать большую сеть.
Или так нельзя?

С эндшпильными таблицами способна. Партия со Стокфишем это наглядно показала.

А чтобы реально прорыв был. Надо все-таки нейронку на играх с алгоритмическими движками тренировать.

То что в принципе Лила способна обыграть движок из топ-3 сомнений уже никаких. И Комодо и Стокфиш спаслись чудом. Т.е. примерно в одной из десяти партий Лила получает большой перевес. А чудесные спасения вечными быть не могут.

Читерство в другом. Все движки играют с эндшпильными таблицами, а Лила почему-то без. Соперники в неравным условиях находятся.

Это вы сами придумали. Задача чисто практическая. Показать превосходство нейросети над алгоритмическом подходом даже в такой переборной игре как шахматы. Глубинность законов это дело десятое.

Для этого Лилу надо на простейших позициях потренировать. А при обучении этого явно не делалось.

И может быть это вообще большая ошибка. По крайней мере человек учится от простого к сложному. И если человеку в принципе не давать играть простые эндшпили (определяя всегда результат по таблицам), то мне кажется это приведет к каким-то пробелам в его понимании шахмат, что может влиять даже на миттельшпиль. Конечно, может быть подобные аналогии между нейронкой и человеком неверны. Но я бы все-таки попробовал обучать нейронку честно без использования таблиц.

Ethereal Лила уже обыгрывала. На первом этапе. Но вообще Ethereal явно неудобный соперник для Лилы. После поражения он тут же отыгрался и больше пока не проигрывал.

—- добавлено: 23 Sep 2018, опубликовано: 23 Sep 2018 —-

Вы всерьез считаете, что нейронка в принципе не способна понять, что две связанные пешки и слон против коня не выигрывают?

Явно в партии со Стокфишем нейронка в первый раз в "жизни" такую позицию увидела.

Далеко не подобрались. Кмс адвансер голый движок легко обыграет в матче. Потому что адвансер понимает в каких позициях алгоритмические движки плавают. А Лила не понимает, потому что нет у нее опыта игры с алгоритмическими движками.

не подтвердилось на Иммортале

До предела еще очень далеко. Программы ошибаются (даже программы ТОП-уровня), нет идеального алгоритма. Да, они неплохо отсекают, но они не могут точно считать на ту глубину, которую они выдают. Есть позиция, которую половина ТОП-движков не решают (мат в 5 ходов там xD). Поставьте 32-фигурную базу и SF максимум 1-2 ничьи возьмет из 1000 партий.

По поводу игры LCZero: ее сила очень близка к силе игры ТОП-3 на этом железе. Причем играет не самая лучшая сеть. Да, с тактикой у нее все очень плохо. Но она играет не в тактические шахматы, а в чисто позиционные. И тут она превосходит всех в позиционном понимании. То, что она видит 15 пешек в ничейном окончании - свойство алгоритма.

Если за 6 месяцев программа практически достигла уровня Houdini и Komodo, то вряд ли она вдруг остановится в развитии. Проект по сути только начал свое развитие и мы не можем сказать, что будет через год. Давайте лучше дождемся и не будем делать предварительных выводов о том, что Lc0 никогда не достигнет уровня SF.

—- добавлено: 23 Sep 2018 —-

Предел близок для конкретной сети (20x256)

Во-первых, есть возможность чисто экстенсивного роста. Потенциал 4 V100 Лила сейчас использует процентов на десять. То есть в несколько раз еще точно ускорить можно. Во-вторых, откуда уверенность, что нынешняя версия Лилы обучена наилучшим образом. Разработчики всего месяц назад что-то подправили и получили сразу +150 пунктов к силе в сравнении с версией, которая в 4 дивизионе TCEC играла. В-третьих, обучение на играх с алгоритмическими движками выглядит очень перспективным направлением в плане увеличения практической силы игры.

Вот она историческая победа.

Для алгоритмических движков правильно предсказывали.

LC0 и у Stockfish-а выигрывала в бонусе)

Чисто позиционно выиграла. Конечно, окончание партии Lc0 всегда затягивает.

Сила игры Lc0 в данной конфигурации, может, и выше, чем у Komodo. Но может и нет. Слишком мало партий, чтобы сделать выводы. Опять же, не самая лучшая сеть играет.

P. S. PGN опять не встраивается

совсем шапку убирай, словами опишешь

Когда есть прямая игра, Лила очень красиво играет. А вот когда нет, тогда ее бесконечные повторения ходов портят все эстетическое впечатление.

У Лилы явный синдром Леко. Сильным не проигрывает, у слабых не выигрывает. В матче даже против Стокфиша результат неочевиден, а против Комодо я бы однозначно на Лилу ставил. А вот в разношерстном турнире типа первого этапа cccc шансов на соперничество с топ-3 никаких.

Все-таки Лилу надо честно обучать, без использования эндшпильных таблиц. А иначе в глубоком эндшпиле так и будут начинаться чудеса.

Вот такую позицию Лила в партии с Этзереалем оценила как совершенно выигранную (-7.53) и смело перешла в нее из реально выигранной позиции:



Подключение таблиц здесь не поможет. Эндшпиль 9 фигурный.

Почему не выигрывают?



1... Nf5 Loose in 25

Моё мнение, что шахматы это конкретная игра, и надо считать варианты.

—- добавлено: 24 Sep 2018, опубликовано: 24 Sep 2018 —-

Ну... график роста силы AlphaZero выходил на плато примерно на этом уровне.

Ещё раз (1) таблицы дадут более точную оценку в том числе для обучения; (2) таблицы увеличат число рассматриваемых вариантов.

Предположим, что Leela на этапе обучения сыграла 100 ладейных окончаний с пешками «f» и «h». Поскольку она играла их без таблиц, то могла допускать ошибки при защите (допустить ошибку там легко), поэтому оценка этого окончания будет в целом как выиграно для сильнейшей стороны. И нейросеть будет обучаться на основании этой оценки. Ну а дальше Leela будет переходить в подобные окончания как технически выигранные. Таким образом таблицы окончаний увеличат силу на этапе обучения, дадут более точные оценки окончаний, что увеличит качество нейросети.

Еще один глюк у Лилы в окончаниях. Проводя пешку она ставит ладью, а не ферзя. Например, в партии №229 с Андскашем. И это не первый раз такое уже.

—- добавлено: 24 Sep 2018, опубликовано: 24 Sep 2018 —-

В реальности использование таблиц при обучении привело к тому, что Лила в принципе не понимает, что одинокий слон не может сбить блокаду. Результат ничьи со Стокфишем и Этзереалем в абсолютно выигранных позициях. Причем, если в первом случае это не стало бы проблемой умей Лила пользоваться эндшпильными таблицами во время игры, то втором случае таблицы бы не помогли. Ничейный эндшпиль, который Лила считала абсолютно выигранным, 9 фигурный.