AlphaZero. Нейронная сеть играет в шахматы

Проще просто обучить Лилу малофигурным эндшпилям. После обучения они будут элементарны для нейронки.

—- добавлено: 21 сен 2018 —-

Движки второго эшелона уже громит. А штамповать ничьи с топами тоже неплохо для начала.

WinPooh, нейросетка это не эндшпильные базы это скорее набор правил для игры в эндшпиле.

Ну... там с окончаниями много нюансов. Во-первых, нейросеть имеет ограниченную мощность, которую лучше потратить на миттельшпильные позиции. Во-вторых, эндшпильных позиций меньше в обучающей выборке. В-третьих, эндшпиль сложен для игры, поэтому оценка для него берёться из статистики доигрываний, где велика вероятность ошибочного результата.

В многофигурных эндшпилях Лила же сильно играет. А малофигурные проще намного.

—- добавлено: 21 сен 2018 —-

Конечно, в силу таблиц Налимова нейронка играть не будет. Так в эту силу и алгоритмические движки не играют. Если нейронку обучить, то играть в малофигурных эндшпилях она будет очень сильно, но конечно не идеально.

Если это окажется критичным, можно для эндшпилей отдельную нейронку натренировать и переключаться на нее, когда до эндшпиля дело доходит.

Так в этом положении Лила досчитала до малофигурок и посчитала, что там все хорошо. Это все та же проблема.

Да что тот рейтинг сегодня лила рухнул резко вниз. З чем ето связано? http://lczero.org

Как я понял они изменили какой-то параметр в результате временное(?) падение силы игры.

Интересно, а настройки обучения (и другие параметры ) масштабируются на сеть большего размера?
Можно ли отработать все это дело например на сетях 6х64 и 10х128 и потом уже с этими настройками обучать большую сеть.
Или так нельзя?

С эндшпильными таблицами способна. Партия со Стокфишем это наглядно показала.

А чтобы реально прорыв был. Надо все-таки нейронку на играх с алгоритмическими движками тренировать.

То что в принципе Лила способна обыграть движок из топ-3 сомнений уже никаких. И Комодо и Стокфиш спаслись чудом. Т.е. примерно в одной из десяти партий Лила получает большой перевес. А чудесные спасения вечными быть не могут.

Читерство в другом. Все движки играют с эндшпильными таблицами, а Лила почему-то без. Соперники в неравным условиях находятся.

Это вы сами придумали. Задача чисто практическая. Показать превосходство нейросети над алгоритмическом подходом даже в такой переборной игре как шахматы. Глубинность законов это дело десятое.

Для этого Лилу надо на простейших позициях потренировать. А при обучении этого явно не делалось.

И может быть это вообще большая ошибка. По крайней мере человек учится от простого к сложному. И если человеку в принципе не давать играть простые эндшпили (определяя всегда результат по таблицам), то мне кажется это приведет к каким-то пробелам в его понимании шахмат, что может влиять даже на миттельшпиль. Конечно, может быть подобные аналогии между нейронкой и человеком неверны. Но я бы все-таки попробовал обучать нейронку честно без использования таблиц.

Ethereal Лила уже обыгрывала. На первом этапе. Но вообще Ethereal явно неудобный соперник для Лилы. После поражения он тут же отыгрался и больше пока не проигрывал.

—- добавлено: 23 сен 2018, опубликовано: 23 сен 2018 —-

Вы всерьез считаете, что нейронка в принципе не способна понять, что две связанные пешки и слон против коня не выигрывают?

Явно в партии со Стокфишем нейронка в первый раз в "жизни" такую позицию увидела.

Далеко не подобрались. Кмс адвансер голый движок легко обыграет в матче. Потому что адвансер понимает в каких позициях алгоритмические движки плавают. А Лила не понимает, потому что нет у нее опыта игры с алгоритмическими движками.

До предела еще очень далеко. Программы ошибаются (даже программы ТОП-уровня), нет идеального алгоритма. Да, они неплохо отсекают, но они не могут точно считать на ту глубину, которую они выдают. Есть позиция, которую половина ТОП-движков не решают (мат в 5 ходов там xD). Поставьте 32-фигурную базу и SF максимум 1-2 ничьи возьмет из 1000 партий.

По поводу игры LCZero: ее сила очень близка к силе игры ТОП-3 на этом железе. Причем играет не самая лучшая сеть. Да, с тактикой у нее все очень плохо. Но она играет не в тактические шахматы, а в чисто позиционные. И тут она превосходит всех в позиционном понимании. То, что она видит 15 пешек в ничейном окончании - свойство алгоритма.

Если за 6 месяцев программа практически достигла уровня Houdini и Komodo, то вряд ли она вдруг остановится в развитии. Проект по сути только начал свое развитие и мы не можем сказать, что будет через год. Давайте лучше дождемся и не будем делать предварительных выводов о том, что Lc0 никогда не достигнет уровня SF.

—- добавлено: 23 сен 2018 —-

Предел близок для конкретной сети (20x256)

Во-первых, есть возможность чисто экстенсивного роста. Потенциал 4 V100 Лила сейчас использует процентов на десять. То есть в несколько раз еще точно ускорить можно. Во-вторых, откуда уверенность, что нынешняя версия Лилы обучена наилучшим образом. Разработчики всего месяц назад что-то подправили и получили сразу +150 пунктов к силе в сравнении с версией, которая в 4 дивизионе TCEC играла. В-третьих, обучение на играх с алгоритмическими движками выглядит очень перспективным направлением в плане увеличения практической силы игры.

Вот она историческая победа.

Для алгоритмических движков правильно предсказывали.

LC0 и у Stockfish-а выигрывала в бонусе)

Чисто позиционно выиграла. Конечно, окончание партии Lc0 всегда затягивает.

Сила игры Lc0 в данной конфигурации, может, и выше, чем у Komodo. Но может и нет. Слишком мало партий, чтобы сделать выводы. Опять же, не самая лучшая сеть играет.

P. S. PGN опять не встраивается

Когда есть прямая игра, Лила очень красиво играет. А вот когда нет, тогда ее бесконечные повторения ходов портят все эстетическое впечатление.

У Лилы явный синдром Леко. Сильным не проигрывает, у слабых не выигрывает. В матче даже против Стокфиша результат неочевиден, а против Комодо я бы однозначно на Лилу ставил. А вот в разношерстном турнире типа первого этапа cccc шансов на соперничество с топ-3 никаких.

Все-таки Лилу надо честно обучать, без использования эндшпильных таблиц. А иначе в глубоком эндшпиле так и будут начинаться чудеса.

Вот такую позицию Лила в партии с Этзереалем оценила как совершенно выигранную (-7.53) и смело перешла в нее из реально выигранной позиции:



Подключение таблиц здесь не поможет. Эндшпиль 9 фигурный.

Почему не выигрывают?



1... Nf5 Loose in 25

Моё мнение, что шахматы это конкретная игра, и надо считать варианты.

—- добавлено: 24 сен 2018, опубликовано: 24 сен 2018 —-

Ну... график роста силы AlphaZero выходил на плато примерно на этом уровне.

Ещё раз (1) таблицы дадут более точную оценку в том числе для обучения; (2) таблицы увеличат число рассматриваемых вариантов.

Предположим, что Leela на этапе обучения сыграла 100 ладейных окончаний с пешками «f» и «h». Поскольку она играла их без таблиц, то могла допускать ошибки при защите (допустить ошибку там легко), поэтому оценка этого окончания будет в целом как выиграно для сильнейшей стороны. И нейросеть будет обучаться на основании этой оценки. Ну а дальше Leela будет переходить в подобные окончания как технически выигранные. Таким образом таблицы окончаний увеличат силу на этапе обучения, дадут более точные оценки окончаний, что увеличит качество нейросети.

Еще один глюк у Лилы в окончаниях. Проводя пешку она ставит ладью, а не ферзя. Например, в партии №229 с Андскашем. И это не первый раз такое уже.

—- добавлено: 24 сен 2018, опубликовано: 24 сен 2018 —-

В реальности использование таблиц при обучении привело к тому, что Лила в принципе не понимает, что одинокий слон не может сбить блокаду. Результат ничьи со Стокфишем и Этзереалем в абсолютно выигранных позициях. Причем, если в первом случае это не стало бы проблемой умей Лила пользоваться эндшпильными таблицами во время игры, то втором случае таблицы бы не помогли. Ничейный эндшпиль, который Лила считала абсолютно выигранным, 9 фигурный.