AlphaZero. Нейронная сеть играет в шахматы

Это будет очень интересно. Я действительно верб, что DeepMind способны в честных условиях победить последнюю версию SFю Просто тогда у них такой цели не было. Сейчас же у них был еще один год, за который они могли не только улучшить сеть, но и придумать что-то еще, возможно. AB-движки далеко не идеальны и они слабы на длинные последовательности тихих ходов. На самом деле, все AB-движки имеют с этим проблемы (тихие ходы и стратегия). И нейронные сети могут решить и уже успешно решают эти проблемы.

Вполне возможно. 3 декабря начинается конференция NIPS, главная конференция по машинному обучению. Alpha Zero был представлен именно на ней ровно год назад.

Долго смотрел в турнирах на Лилу. Разочаровался.
К сожалению, в ближайшее время нейродвижки неспособны в примерно равных условиях победить стокфиш (я думал, что способны, и уже к зиме будут наравне), их удел - второе-четвертое место с комодо и гудини.

Ну а прошлый матч А0 со стоком всерьез воспринимать нельзя. Дай Лиле такое же железо и обрежь стоку возможности до такого уровня - результат будет примерно то же. В районе +22 -3 = 75 в пользу Лилы.
И то даже в таких условиях сток несколько раз дернул А0 в сицилианке. И будет бить и бить в этом дебюте - он плох для нейродвижков.

Так всю осень одна и та же версия Лилы играла. Если изменения и были, то косметические. Вот натренируют новую сетку, тогда будет видно, есть прогресс или нет.

Ну во-первых не одна версия, сети совершенно разные были (размер один).
Они сейчас увеличивают размер сети, но пока результаты неутешительные. Прирост рейтинга при пересчете на фидешные ЭЛО (а не внутренние) при играх со старыми сетями не выходит за статистическую погрешность.

Ну вроде Хасабис говорит, что А02, уже сильнее нынешнего стока и играет примерно 3600Эло. Это конечно если верить на слово. Какое там правдо железе неизвестно.

Говорить он может что угодно, но они дали ублюдочные условия Стоку в прошлый раз, и выдали это за великий прорыв.
Если посадить сток на домашний комп, а какому-нибудь Васпу, Лазеру или чему-то там еще дать мощности суперкомпа, то Сток тоже будет слабее.
Так и здесь...

Где про это можно прочитать?

http://lczero.org/ - сайт

Дискорд с обсуждениями
https://discordapp.com/invite/pKujYxD

Тема на форчессе (раньше там можно было выловить разраба crem, ща вроде уже нет: он и тут бывал, впрочем)

http://forchess.ru/showthread.php?t=906
Последние страниц 10 можно почитать - стагнация в развитии, увы.

Ну и в первом сообщении ссылки на буржуйские форумы с обсуждением лейлы.

Насколько я слышал играет до сих пор первая версия. Они запускали с нуля обучение второй версии, но та особого прогресса не показала. После этого они с нуля запустили обучение третьей версии и у нее в начале обучения был заметный прогресс.

Увеличение сети не факт, что хорошая идея. Во-первых, для обучения потребуется намного больше партий. А у Лилы с ресурсами для обучения проблема. А во-вторых, скорость перебора вариантов во время игры упадет. И не факт, что лучшее понимание окупит замедление перебора.

Ну... все жалуются на стагнацию, это глобальное свойство нейрсетей. До какого-то предела всё хорошо, а дальше стагнация. Повышает размерность — переобучение.

Ну на настоящее время есть только две сети,это 11248 и 11258, других вроде нет, но и движок был 0.18 стал 0.19, что тоже чуток Эло добавило

Вроде бы эти эксперименты если и были то результат не обнародован. Всё таки сеть например 40х384 довольно не просто довести до нормального уровня. Да и смысла нет никакого,до сих пор нет внятного способа обучить сети и поменьше с заранее предсказуемым результатом.
Насчет стагнации, то есть ещё козырь у сети 3х в снижении LR и ещё можно 15-20 млн игр для обучения использовать, но все равно нет уверенности в заранее предсказуемом результате

Во всех CCC играла (и до сих пор играет) одна и та же сеть 11248, натренированная аж 30 августа. Во всех играх TCEC после этой даты тоже играет эта сеть.
После этого тренировалась test20, которая оказалась хуже.
Сейчас test30 подаёт неплохие надежды. Там в частности используется policy sharpening, который казался свежей идеей, но три дня назад внезапно обнаружилось, что deepmind его тоже использовал (вроде бы, если мы интерпретируем статью правильно). Короче, продолжают находиться детали, которые у нас не так как у AlphaZero, и это хорошо.

В версии v0.20 будут изменения, которые позволят поддерживать разные варианты архитектуры нейросети. Ожидается, что из-за этого следующая попытка (скорее всего test40, но может оказаться что и test50) будет сильнее. Главным образом из-за SE сети, которая говорят хорошо себя показала в тестах.
Ну и ещё возможно добавим несколько константных плоскостей на вход нейросети: координатные (чтоб нейросеть лучше "видела" где относительно краёв доски находятся фигуры) и "шашечную" с разными значениями для чёрных и белых клеток (чтобы легче было различать разноцветных слонов).
И ещё попробуем добавить отдельную вероятность победы/поражения/ничьи на выходе из нейросети, но это наверняка не в test40.

Все сети (test10, test20, test30 и планирующаяся test40) одного и того же размера.

Переобучение возникает когда данных мало. Лила может генерировать новые данные хоть целую вечность, только дай ресурсов.

А можно расшифровать, что такое "policy sharpening"? Гугл тут бессилен.

А где гарантия, что данные будут оптимальны для обучения? Какие-то классы позиций могут остаться за бортом, могут быть перекосы в данных, когда один тип будет превуалировать, ... Эффект переобучения проявляется даже в распознавании изображений, когда мы можем генерировать примеры бесконечно (растянул, сжал, повернул, ...)

Лила учится играть на своих играх и поэтому постоянно улучшает генератор данных, на которых она учится.
Если бы был хороший генератор картинок с кошками, то это означало бы бесконечное количество данных и отсутствие переобучения в распознавании котиков. Однако это очень сложная задача, гораздо проще обучить обычный классификатор. Хотя даже очень плохой генератор (растяжения, сжатия, повороты) обычно немного улучшает классификатор, за счёт роста эффективного размера выборки.

Вовсе не факт.Что если при обучении будет слишком низкая случайность хода?Лила будет пробовать лишь ходы слабо отличающиеся от лучшего на данный момент и это станет её слабостью.
Одним словом важны ещё правильные параметры обучения

Значит будет долгая сходимость. Переобучение - это вполне конкретная штука, а не просто ситуация, когда модель работает плохо.

Подоспел новый матч против Stockfish 10 (правда снова по правилам DeepMind). Перевес теперь уже +155 -6 =839
https://www.chess.com/news/view/updated-alphazero-crushes-stockfish-in-new-1-000-game-match

Ну и с книгой я не разобрался. Вроде у Stockfish была сильная книга, но в то же время упоминается и TCEC 2016 книжка...

—- добавлено: 7 дек 2018 —-

Интересно было бы прочитать статью,вам я вижу, это пока не удалось
1 Матч вроде игрался с SF8 в начале года
2 контроль был 3 час +15" на ход
3 у SF была какая то книжка

Это, кстати не матч против Stockfish 10. Это матч против древнего Stockfish 8! Опять! 52 пункта перевес всего лишь над SF 8. Хотя, да, здесь нет линейности ЭЛО в матчах с NN движками, но все же. Почему не против, хотя бы, SF 9?

да, вроде книжка была (в тех случаях когда она была) не "какая то", а та что на TCEC 2016 была (а может и сейчас есть), то есть движки видимо играли позицию не сначала, а после окончания заданного дебюта,если это так, то это для A0 тоже не простой случай , и это отчасти объяснят низкий результат

Здесь намного больше игр AZ: https://deepmind.com/research/alphago/alphazero-resources/

Результаты с книгой и без книги.

Код:

Program                          Elo    +   -   Games   Score   Av.Op.  Draws

1 AlphaZero                     : 2416   35  33   100    54.5 %   2384   75.0 %
2 Stockfish 8                   : 2384   33  35   100    45.5 %   2416   75.0 %

+ 17,= 75,- 8. Это с дебютами TCEC. Против SF 8, ага.

А это без дебютов!

Код:

Program                           Elo    +   -   Games   Score   Av.Op.  Draws

1 AlphaZero                      : 2452   38  35   110    64.5 %   2348   65.5 %
2 Stockfish 8                    : 2348   35  38   110    35.5 %   2452   65.5 %

+ 35,= 72,- 3

Вяленый форева

Великий прогресс, даже куцый и обрезанный сток 8 в отдельных партиях бьет AZ.
Видимо, результаты встречи с нормальный десятым стоком показывать просто стыдно - он устраивает великому техническому прорыву показательную порку.

Кстати, Сток 10 бьет Комодо и Гудини с гораааздо большим отрывом, чем их хвастливый "crush". 57% набранных очков - ну можно было бы взять сток 7 и получить побольше

В Январе уже были явные намеки на скорый выход SF 9 и я не знаю, почему они не хотели использовать Dev-версию. Скорее всего, результат бы просто не вышел за пределы погрешности за разумное время))

Они использовали dev версию по состоянию на 13 января.
Вдобавок к stockfish 8. Там отдельная (очень похожая на sf8) статистика упоминается.

Статистика очень похожая, "уверенно выиграл" но мы ее вам не покажем!
Какой результат?
Сколько партий?
Какие цифры?
Какие еще матчи сыграны?
Неужели сложно написать 3 цифры?

Может там что-то вроде +13 -12 = 175, это технически тоже победа!

Цифр нет, зато красивые столбики. А на деле - пшик, который схавали на реддите, но крайне скептично восприняли на чесскоме.