AlphaZero. Нейронная сеть играет в шахматы

Если на той-же технике на которой был сыгран обсуждаемый матч - нормально настроить стока, просто дать ему хорошую ДБ, то он матч выиграет. Неужели с этим кто-то спорит?

Я давно играю с программами , нейросети у меня не сформировалось , но один устрйчивый нейровариант сформировался , то есть - есть дебютная позиция после 12-го хода , именно к этой позиции я стараюсь выйти при игре с программой из разных дебютов , так вот сама позиция позволяет создавать успешные атаки против разных движков , вероятно и в нейросети А0 нечто подобное - формируются определённые плюсовые точки на глубине друг от друга ходов в 20 и система автоматически ведет игру не отклоняясь от этих точек , поэтому ей и не нужно просчитывать каждый ход , например я в своей системе не думаю до 12-го хода а точно знаю что мне нужно , причём много атакующих продолжений и после 12-го хода я хорошо помню , забавная картина случалось с фртц14 - при игре в блиц он после 12-го хода вероятно высчитал неудачи в своей позиции и просто остановил часы и завесил мне планшет или например Арена 3,5,1 под stf8 в блице пошла на ничью после третьего хода , соответственно перед этим проиграв несколько раз именно из подобного дебюта

https://www.youtube.com/watch?v=EMcAfCBgdOM

Во время обеденного перерыва запускал мини матч, сток8 и новый, вроде тот на что давал ссылку СЮ, 10 партий новый белыми контроль 2+2. Новый со старой NarrowBook восьмой без книги. После е4 он стабильно шел во французскую и как результат +4 =4 в ней в пользу нового. Два раза он начал партию с д4 и там ничьи. Запустил чисто для своего интереса, ни на что не намекаю и не претендую.

Пока запущу 60+0.6 Stockfish - Stockfish с Celebrium 1000 партий (6 партий параллельно).

Возвращаюсь к партии

Почему все движки (и сток, и комодо, и гудини, и всевозможные фрицы и стрелки и т. д.) считают 18-й ход чёрных сильнейшим (помимо того, что он угрожает фигуре на h6)? Правда на большую глубину (максимум 20 полуходов) не ставил ни один движок... Либо этот ход сильнейший, либо это общий дефект алгоритма всех шахматных прог (до создания А0).

Я конечно дилетант в программировании , но у меня есть мнение , например я играю с движком и он совершает ошибку обычно после жертвы - он её просто не видит при прямом просчёте вариантов , но при анализе после игры он отталкиваемся от своего отрицательного варианта и всё прекрасно видит , то есть если написать программу с контрольными точками выигрышных позиций и движок будет просто проводить анализ и искать короткий путь к определённой тактике ( а не высчитывать каждую комбинацию ) то и времени он потратит меньше и результат будет . Именно в этой игре примерно так и было , то есть А0 выбрал конкретную тактику атаки и шел к ней с самого дебюта , даже несмотря на потери , в принципе все так играют ( запоминают тактику и пытаются добраться до неё )

Alpha Zero мыслит стратегически, в общем)

Нет, в A0 - MCTS - переборные алгоритмы, при которых каждая ветвь перебора идет от текущей позиции до конца партии. И в каждой новой ветви ход который будет сделан в каждом узле выбирается путем анализа статистики собранной предыдущими ветвями, ну и значений выдаваемых ОФ.
Не на один полуход она считает, а до конца партии. При этом из-за медленной ОФ (из-за нейронной сети) - скорость перебора заметно меньше чем у Стокфиша.

—- добавлено: 14 дек 2017 —-

И, кстати, Эндшпильные таблицы она ровно так-же может использовать, как и классические программы на Альфа-бете.

Мне именно так казалось, у нее же нет прописанной ОФ, и она не может изначально считать на ход-два вперед, так как отсутсвует понятие хорошо-плохо. Она доигрывает до конца и оценивает ветку по результату. Далее оценочная функция формируется по статистике. Единственное, не понимаю, как быть с ничьими, похоже ветки с числом ходов больше какого-то порога считаются ничейными. Порог может расти по мере обучения.

Alpha Zero выбирает более перспективные ветки с помощью нейронной сети и проигрывает партии в той ветке, собирая статистику. Алгоритм MCTS, но выбор ветки с помощью нейросеть. Что-то вроде этого.

Есть. Её нейросеть и есть ОФ, которая в том числе выдает оценку позиции. И поэтому как раз очень интересно, в какую силу она будет играть без перебора, или на альфа-бете.

В качестве грубого примера: r1bqk1nr/pp4pp/1bn1pP2/3p4/3P4/2P2N2/P4PPP/RNBQKB1R b KQkq - 0 8
Сколько лет понадобится SF, чтобы оценить эту простенькую позицию и выбрать из всего-то трех разумных ходов-кандидатов лучшее продолжение, если @0 каким-либо образом туда затащит?

Можете показать позицию на доске?

Я думаю что А0 на входе дали правила игры и прикрутили оценочную функцию, наработанную предыдущими версиями. Тогда это многое объясняет, но обучение получается было никак не с нуля.

Явно из общих соображений. Альфа Зеро считает всего 80 тысяч позиций в секунду, в минуту это 5 миллионов. Даже если рассматривать всего 2 хода-кандидата на каждом ходу, то это глубина лишь 22 полухода. Стокфиш очевидно намного глубже все просчитал, но это ему не помогло.

Undying, AZ, возможно, намного глубже считает, т. к. выбирает лучшие из ходов-кандидатов, и эти 22 полухода более реальны, чем в других движках.

Хотелось бы перевод. Хотя бы основные мысли из этой статьи.

Пошли на очередной круг
1. Альфа не факт что меньше (хуже) считает, так как часть расчетов косвенно берет на себя нейронная сеть. В данном случае нельзя так прямо сравнивать. И никто пока не продемонстрировал на конкретных примерах из партий перевес Стока в счете.
2. Стокфиш не мог в принципе глубже просчитать, так как MCTS в отличии от альфа-беты - продлевает все ветви до конца партии, до результата. То есть MCTS считает так глубоко, что глубже просто невозможно.

Я так понимаю, что Стокфиш считает вширь, он по другому просто не может. AZ считает вглубь, сразу отсекая неперспективные варианты, поэтому даже 80 000 поз в секунду ей хватает чтобы досчитать до мата. Типа "туннельный метод".

В чем смысл смешивать счет и нейронную сеть? Чтобы потом понять ничего невозможно было? Нейронная сеть это оценка позиции и выбор ходов кандидатов. Причем здесь счет? Выше в теме был пример из го. Когда счета по сути вообще нет (1 полуход), а силы игры кмс.

Выше в теме Михаил Семионенков принципиально описал работу нейронной сети. Где вы там видите продление ветки до конца партии? Нейронная сеть оценку выдает, а не конкретные варианты и получающиеся в них позиции.

А что она тогда считала со скоростью 80 килонодесов?

Считала не нейронная сеть, считал модуль ответственный за счет. Грубо говоря этот модуль брал исходную позицию, загонял ее в нейронную сеть, получал оценку и ходы-кандидаты. Затем делал ход-кандидат и получившуюся позицию снова загонял в нейронную сеть. И так далее. Потом выбирал вариант с лучшей оценкой. Учитывая, что за минуту счетный модуль перебирал всего 5 миллионов позиций, глубина расчета была невелика, полуходов до 15 по идее.

Сам по себе счетный модуль Альфа Зеро от счетного модуля Стокфиша мало отличается. Ключевое отличие, что у Альфа Зеро позицию оценивает нейронная сеть, а у Стокфиша обычный алгоритм. И оказалось, что нейронная сеть настолько лучше оценивает, что считая на 15 полуходов Альфа Зеро играет сильнее, чем Стокфиш считающий на 30-40 полуходов.

Вы сейчас описали нечто похожее на альфа-бету, еще раз повторюсь - MCTS, который использует Альфа-Зеро - работает совсем не так.
Нет там никакого расчета на 15 полуходов, в каждой ветви перебора ходы исполняются до конца партии.
То есть mcts это прогон большого количества партий, где в каждой партии выбираются не лучшие ходы, а ходы которые грубо говоря минимизируют ошибку в оценке (МО результата) либо ошибку в выборе лучшего хода. Не было тестов, сильнее ли играет Альфа считая на 15 полуходов чем Сток считающий на 40. Но ИМХО не видно ни малейшего основания для таких утверждений.

Нейронная сеть не считает варианты. Считает варианты MCTS. Переборные алгоритмы Альфа-Зеро.
https://arxiv.org/pdf/1712.01815.pdf

На всякий случай, чтоб вы не подумали что гросс-переписочник вдруг начал выдумывать принципы игры шахматных программ - я автор шахматной программы.
http://chessprogramming.wikispaces.com/Sergei+Nefedov
http://chessprogramming.wikispaces.com/Anechka
Ну и знаю что такое MCTS, так как автор программы использующей MCTS (UCT + RAVE) в Го-подобную игру Symple
http://archive.codecup.nl/2013/49/rules_symple.html
http://archive.codecup.nl/2013/27/competitionlist.html
То есть примерно представляю о чем пишу. И как работает Альфа-Зеро.

Нет, в данном случае это не так.
Действительно, классический метод MCTS включает шаг "simulation", в котором полученный узел доигрывается до конца:
https://en.wikipedia.org/wiki/Monte_Carlo_tree_search#Principle_of_operation

Однако в AlphaZero этот шаг заменён на "evaluation", где вместо того, чтобы играть партию до конца, используется оценка в value network, см рисунок 3 в:
https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf

UPD: Внимательней перечитал, evaluation включает в себя и оценку в value network, и rollout (симуляцию игры до конца), так что я не прав.

В Alphazero метод монте-карло берёт текущее дерево вариантов, выбирает, какой из узлов дерева продлить (при помощи нейронной сети policy network), и продляет этот узел на один полуход. Затем оценивает получившуюся позицию при помощи value network, пересчитывает вероятности, и всё повторяется заново (на следующем шаге он может продлить совсем другую ветку).

В результате получается примерно такое же дерево вариантов, как в классических движках, но гораздо более неравномерное (для некоторых ходов, возможно даже и сильных, глубина будет низка, потому что policy network решает что value network выдаёт ему адекватную оценку), а для других возможно и очень глубокое. Возможно и до конца партии, но такое скорее всего редко.

Value network тоже в принципе очень похожа на оценочную функцию классических движков, но "видит" гораздо больше. (И выводит не одно число "перевес в сантипешках", а три вероятности: победы, поражения и ничьей.)

А вот в процессе обучения alphazero играют партии до конца, и исходя из результата партии обновляют оценки всех ходов партии, но там вообще нету ветвления.