AlphaZero. Нейронная сеть играет в шахматы

Результат игры профанация чистой воды.
1. Совершенно разное железо, пишут даже про суперкомпьютер против ПК.
2. Не использовались дебютные базы и таблицы окончаний, которые являются компонентом работы программы. Если бы их было нельзя подключить они были бы жёстко закодированы, увеличив вес программы на порядки.
3. Матчи организовываются третьей стороной всегда. А не так что одна из сторон проводит скрытно игру по своим правилам со своим судейством на разном оборудовании.
Развод лохов

Контроль минута на ход. Независимо от позиции. Во многих позициях движкам счётного типа требуются более 10 минут чтобы найти верный ход. Здесь все заделано так чтобы обеспечить преимущественное положение своей проге.

Nikobelic, это изначально не было задумано как спортивное соревнование.
Больше похоже на какой-то эксперимент, вот только не могу понять какой.
То ли научный, то ли рекламный?

Дело не в том, что движок становится слабее, а в том, что он становится предсказуемым. Против такого намного легче "самообучиться". Например, можно в процессе "обучения" сыграть с ним миллион партий, почти все проиграть, но хоть несколько выиграть. Выигрышные варианты - запомнить (в этом "обучение"). И дальше - сто зачётных партий, где раз за разом исполняешь только вот эти выигрышные варианты. А противник без книжки обречён повторяться. Могло быть вот так.

Кстати, из этой же серии - походовая фиксация времени на обдумывание. Это тоже вроде бы не так уж сильно подрывает силу игры движка (хотя автор Стокфиша и гордится хитрым алгоритмом выявления критических позиций). Но намного важнее, что это делает его ещё более предсказуемым. Когда движок сам решает вопрос о времени думок на каждом ходе, это может повысить вариативность, там может быть какой-нибудь гененраторчик случайных чисел. Против такого фиг обучишься. Поэтому - время на думки фиксируется.

То есть против Стокфиша с дебютной книжкой, способного варьировать свою игру, всё это трюкачество с самообучением могло бы обернуться пшиком. никаких +28 = 72 в зачётной сотне партий, если проводить её честно, не получилось бы. Для получения этого результата Стокфиш могли не то чтобы ослабить, а скорее подставить описанным выше образом.

Думаю, это ключевой момент. Сороконожка просто периодически путалась в собственных лапах.

да один гигабайт просто смешно, щас обычному компу что бы работать без торомозов, не используя игр как я, никаких спец прог для видео и т.п. надо 4 гига, а тут шахматная вычислительная прога...

Наконец на глубине 52-54 асмфиш начал раздупляться:

Ну по факту здесь только к одному можно придраться - контроль времени (очень больно бьет по стокфишу).
Гугл же особо и не пиарил свой матч как борьбу за что-то в плане первенства шахматных программ, так что имеют право делать что хотят.
Провели эксперимент - получили результаты. Эксперимент в плане сравнения чистых движков на принципиально разной архитектуре железа показал, что с контролем 1 минута на ход А0 лучше...

Вариативность какая-то есть, без неё вообще получилось бы +100 -0 =0 с повторением одной и той же партии. Но много ли этой вариативности остаётся без дебютной книжки, без выбора времени на думки, наверное ещё с какими-то настройками от гугловских умельцев? Вот сравниваю две первые белые партии: вяленый играет один и тот же вариант антиберлина с разменом на c6, разница только на 7-м ходу. За чёрных тоже ненамного богаче репертуар: новоиндийская с жертвой d4-d5 раз за разом. Ну, иногда сам играл d7-d5, но всё равно вряд ли новоиндийцы скажут, что Стокфиш играл этот дебют во всём его многообразии.

К такому предсказуемому противнику "самообучиться" куда проще. Одного варианта мало, но компактного деревца из неприятных для него вариантов уже вполне себе достаточно.

Так разнообразие я так понял тоже обеспечивалось, пусть и немного искусственно :

У нас есть некоторая «наилучшая» сеть с весами А. Эта сеть A играет сама с собой 25 000 раз (используя MCTS со своими весами для оценки новых нод), и для каждого хода мы сохраняем сам стейт, распределение Pi и то, чем закончилась игра (+1 за победу и -1 за поражение). Дальше готовим батчи из 2048 случайных позиций из последних 500 000 игр, отдаём 1000 таких батчей на тренировку и получаем некоторую новую сеть с весами B, после чего сеть A играет 400 игр с сетью B— при этом обе сети используют MCTS для выбора хода, только при оценке новой ноды A, очевидно, использует свои веса, а B — свои. Если B побеждает более, чем в 55% случаев, она становится лучшей сетью, если нет — чемпион остаётся прежним. Повторять до готовности.

А мне показалось очевидным, что А0 играет явно не так как обычные движки. Именно в позиционном плане. И этого никакими костылями и рецептами не заменить.

Странно, а я нашел инфу про архитектуру сети (правда не А0 а Аго 0, но они вроде похожи очень):
Convolutional layer, потом 40 residual layer'ов, в конце два выхода — value head и policy head

Остальные домыслы и сомнения SuperZerror (с такого де рода рецептами как гугл всех обманул) как-то тоже не вяжутся именно с уровнем партий. На мой взгляд

Ну вот Каспаров был переигран Карповым по игре в защите Тарраша с изолятором, взял да и стал играть другой дебют. И в конце концов Карпова замочил. А представьте себе, что ему бы запретили менять дебют. ГК небось бесславно бы слил тот матч со счётом 6-0 и ушёл бы ещё, чего доброго, из шахмат. А кругом бы говорили: не в дебюте дело, защита Тарраша корректна, просто плохому танцору известно что мешает.

Та да...куцая статья какая-то. Думал расскажут в двух словах причину успеха чтоб всем было понятно.

Как я понял все дело в другом подходе к оценке позиций (или нод построенного дерева вариантов ). Если обычные проги (как я понял) стараются отталкиваться от вписанных в них алгоритмов оценки типа материал +активность+быстрый просчет на макс. глубину форсированных вариантов, то А0 пляшет от результата.

Т.е. базой оценки для каждой позиции является то, насколько она "похожа" на те позиции в которых успех был достигнут. Это очень по человечески - стараться получать выигранные позиции, информация о чем и закладывается через изменения весов в слоях в результате практической игры.

Ну это очень обще. Возможно что-то упустил или наоброт приврал

http://site.gipsyteam.ru/news/5773-neyroset-plenyaet-shahmatistov

Почему лучших? Побед было же больше - может там есть и лучше победы.
Насколько я понял с обзора СЮ это нормальная дебютная схема - ее и гроссы катают. А как там в этой схеме с книгой играет стокфиш? Или вообще новоиндийку не играет?
Да и варианты там немного отличались все таки.

Альфа не имел и даже не может иметь никакой дебютной книги То, в чем его попрекают, по сути часть алгоритма - он как бы ее сам придумал. Но именно как бы!

Ну ничо...подождем когда сыграют с книгой на самом жирном компе и с нужным хешем. Правда вряд ли это поможет - к тому времени алгоритм и улучшится и обучиться лучше сможет....

Народ о чём вы все говорите? О каком железе? Я же Вам показал на своем примере - сток до глубины 52 ни хрена не видит (там до эндшпиля ещё далеко), как он может учуять проигрыш? Неужели Вы не поняли, что есть типы нормальных игровых позиций, которые сток не понимает?
Включите свои компы, посмотрите сыгранные партии, найдите на каком ходу начинаются ошибки (ход Лf8 можно больше не смотреть).

О. А вот это вот отличная статья!
И сразу стало понятно почему порвало пуканы у "програмеров":

Шапочку из фольги в основном примеряют люди, занимающиеся шахматным программированием. Их эмоции можно понять – тысячи часов они корчевали пни и укладывали асфальт, в то время как под рукой лежал почти готовый телепорт, ведь нейросети – не какое-то сверхсекретное изобретение, а становящийся вполне стандартным метод решения ранее тупиковых проблем. Уже одно это заставляет меня с некоторым недоверием относиться к их претензиям к DeepMind.

Да-да-да. И Слюсарчук Рыбку тоже обыграл примерно так же. Придумал чувак методику запоминания, там тоже нейросети какие-то были. Только вот на чём бы её продемонстрировать? Подвернулась под руку доска с шахатами - ну, взял, быстренько их освоил (главное ведь память, мозги там ни к чему), да и раздал люлей Рыбке. Это дело недолгое, когда есть такая научно выверенная методика.

Кто-то сомневается в честности? Оставьте свои "пустые размышлизмы" при себе, нормальные люди "более чем уверены", что методика запоминания рулит. Предлагаете повторить в нормальной спортивной обстановке? Пошли нафиг, я не спортсмен, а учёный. Сам Янукович наградил премией за научные достижения. Это вам не статейка какая-то в журналишке.

Да при чем тут Слюсарчук? Это же больной на голову мошенник, убивший кучу людей - жалко шо его выпустили с тюрьмы.
Как это можно сравнивать то?

Каспаров получал вполне хорошие позы по дебюту, но вот по игре в первой половине матча Карпов его переигрывал, и далеко не только в Тарраше.

Дебют там ни при чем был.