AlphaZero. Нейронная сеть играет в шахматы

А что такое "счёт"? Допустим идёт обычный alpha-beta до глубины 10, а потом веса устанавливаются в соответствие с оценками. Сколько нод выводить? Те, что попали в MCTS? Или вообще? Ответа нету.

Ясно. Тогда мертворожденное дитяте. Не взлетит.

А можно ли у Stockfish выиграть 1) чёрными, и 2) без качества?
Вот так - со стартовой позиции шахмат уберём у белых коня b1, а у чёрных ладью a8.
Выходит, у белых будет лишняя ладья против лишнего коня чёрных.

Плюс у белых преимущество первого хода. Короче, в такой ситуации чёрные как минимум будут иметь худшую для себя стартовую оценку -2 (в пешках), и если выиграть у белых которыми будет играть Stockfish, значит программа будет претендовать на звание лучшей (и подобная нейросеть всех будет удивлять).

Или Stockfish настолько силён, что уж с таким преимуществом никогда не проиграет? (время ему дадим классическое - 2 часа на каждые 40 ходов).

SkipperNorton, если будет "рейтинг_Stockfish - ваш_рейтинг + преимущество_в_сантипешках" < рейтинг_32_ТБ, то да xD

Но это так, просто теория))

—- добавлено: 16 ноя 2018 —-

Предположим, что 32-фигурная база на 300 пунктов сильнее, чем SF. Значит, при коне у SF счёт будет +- овецра между базой и движком

Вроде в следующем, тогда LC0 и Asaran поделили 2–3, но дальше пошёл Asaran. А Komodo MCTS — новый движок

Я думаю, что больше чем на 300 пунктов.

Для победы 32-фигурной базы над Стокфиш, достаточно одной-единственной ошибки от Стокфиш, при этом 32-фигурная база никогда ошибку не сделает.Значит, разность в рейтинге зависит от вероятности совершить эту хотя бы одну ошибку в партии, а она растёт с экспоненциальной скоростью от числа ходов в партии. Программе, играющей по гипотетической 32-фигурной базе, нужно просто выбирать варианты, которые затягивают игру. И это возможно (я сам видел партии гроссмейстеров по 150 и более ходов, да и даже в 7-фигурных окончаниях уже встречаются позиции, которые выигрываются за 500 ходов. Ну это редкость, но затягуть партию в большинстве случаев, на примерно ~ 150 ходов, программа играющая по 32-фигурной базе, cможет).
Предположим теперь, что Стокфиш играет настолько сильно, что только в 1 из 10-ти ходов делает подобную ошибку, которая может привести к поражению (стоит отметить что это ещё очень оптимистичная оценка. Возможно даже чаще такие ошибки происходят, только обычные программы, которые играю со Стокфиш, в свою очередь, тоже их не видят, раз уже сильнейшая программа не увидела. А программа с 32-фигурной
базой увидит всё). Получаем, что если такая ошибка у Стокфиш произойдёт на отрезке от 1 до 10-го хода , а дальше (предположим Стокфиш после 10-го хода, никогда не ошибался бы) - с вероятностью 90 %, т.е. 0,9 Стокфиш партию не проиграл бы. Но партия продолжается дальше, и за первые 150 ходов, наберётся подобных 15 отрезков. Ошибка ХОТЯ БЫ В ОДНОМ из них - это произведение
вероятностей. Значит, возведём 0,9 в степень 15, и получим, что Стокфиш при таком положении дел - не проиграет партию, с вероятностью = 0.205... При это не выиграет ни одной, значит если 20 % партий закончатся вничью, а 80 % будут проиграны, то очков будет набрано только 10 %. (в самом деле из ста партий, 20 ничьих - это 10 очков у Стокфиш, и 10 очков от ничьих + 80 от побед
от 32-фигурной базы == 90 очков из 100).

Вот и посчитайте, какой рейтинг был бы у программы, которая 90 % очков набирала бы в матче против сильнейшей версии Стокфиш ?

Вообще-то, большинство позиций в эндшпиле гораздо проще оценить, потому оценка ошибок там может быть другой, чем в миттельшпиле, когда очень много факторов надо учитывать.
Потому , кажется вероятным, что в миттельшпиле чаще будут случаи что программа по 32-фигурной базе, будет видеть что то такое, чего Стокфиш видеть не будет.
И потому процент ошибок будет больше.

Ну и я неспроста написал "это еще очень оптимистичная оценка". Был же случай, когда нейросеть Альфа-Зеро играла со Стокфиш . Сколько процентов партий было проиграно?
Вроде как, 28 партий из 50-ти ? (Сейчас нет времени разбираться)
А ведь это еще далеко не 32-фигурная база - у 32-фигурной базы вообще теоретический предел силы игры.

—- добавлено: 16 ноя 2018, опубликовано: 16 ноя 2018 —-

Ну и наконец, саму программу по 32-фигурной базе, можно было бы настроить так, чтобы она не выбирала равновероятно варианты с одной оценкой.
А чтобы выбирала такие варианты, после которых в будущем количество вариантов без критической ошибки у оппонента (Стокфиш) - уменьшается.
Таким образом, даже если на первых 10-ти ходах, Стокфиш допустим будет ошибаться с вероятностью 0,1, то на отрезке партии от 90 до 100 хода,
эта вероятность будет допустим, уже 0,5 (т.е. 50%). К примеру, получит более стесненную позицию, с худшей позиционной оценкой, хотя
формально по 32-фигурным таблицам, такая позиция будет ещё считаться ничейной. (т.е. программа из 32-фигурной базы не только оценку должна
вынимать, а ещё и проводить "статистический анализ" по этой базе для определения вероятности ошибок).

Потому, я уверен,
Дайте мне 32-фигурную базу, и я настрою программу, которая будет работать с ней так - что самый сильный Стокфиш - вообще будет проигрывать даже в 99% партиях!
Там вообще интересное поле для деятельности..

Ну... мне кажется будет с точностью до наоборот. Возьмём человека. Если брать некоторые позиции из таблиц Налимова, то для человека они находятся за гранью понимания. Причина проста, много ходов-кандидатов, гигантсвое дерево. В то время, как в миттельшпильных позициях человек ходов-кандидатов, как правило, меньше, и человек может оказывать сопротивление. Конечно можно придумать искусственно позицию, где Stockfish будет проигрывать 100%, но такая позиция вряд ли будет возникать из началоной позиции при разумной игре

Но с 32-фигурными таблицами есть ещё один нюанс: как их использовать? Рандомная игра в окончании RB vs R за сильнейшую сторону в рамках оценки Draw не поставит никаких проблемм, скорее всего в один из моментов будет подставлена ладья

Собственно говоря, использование книжек даёт сейчас +200 ELO.

Если из данной позиции имеется несколько ходов, с одинаковой оценкой по таблицам (особенно важно это в случае с оценами Draw ) - то проводим перебор вариантов, на некоторую глубину,
и ведём статистический анализ. Позже выбираем ход, в ветку, где больше всего "узких мест" для оппонента.
Узким местом назовём промежутки партии, где оппоненту нужно сделать мало (чаще всего 1 или 2) ходов, для того чтобы эту ничью сохранить.
Это можно назвать "продвинутым использованием" базы. В случае если у нас есть 32-фигурная база, это означает что и ресурсы системы огромные
(раз уж смогли её построить).
Значит, при таком "продвинутом использовании" 32-фигурной базы, программа загонит Стокфиш в ветку, у которой будет много подобных узких мест,
а значит вероятность ни разу не ошибиться и выстоять ту же партию из 150 ходов, будет всё больше стремиться к нулю.

—- добавлено: 16 ноя 2018, опубликовано: 16 ноя 2018 —-

Подобное "продвинутое использование" 32-фигурной базы, и есть по сути, достижение максимальной теоретической силы игры. Рандомная игра для позиций, с одининаковой оценкой по базам,
не должна проводиться. Теоретически даже, можно было бы те же 6-фигурные базы (или 7-фигурные) преобразовать так, чтобы были не только оценки записаны, а еще и данные
по этому статистическому анализу, только в таком случае размер базы будет больше в разы. Так, ни Налимов , ни я, когда писал свой генератор баз для всех позиций включая 7-фигурные) -
такого не делали. Если ничейная, Draw - значит в базе 0 хранится и всё. Просто и меньше весит.

А достигнув максимальной силы игры, существует одна конкретная партия, где и белые и чёрные играют с максимальной теоретической силой, т.н. "the-best-линия" в шахматах.
Т.е. самая лучшая теоретическая партия.
Но вряд ли человеческая цивилизация когда-нибудь эту партию увидит.

—- добавлено: 16 ноя 2018 —-

Кстати, довольно важный момент. Я планирую заняться изучением нейронных сетей, и хочу написать свою "нейронку" которая будет играть в шахматы.
Если получится (а это занятие на год а то и дольше, т.к. слишком сложная тема), то посмотрим как всеми любимый Стокфиш сыграет
(без эндшпильных баз конечно), в ничейной теоретически позиции типа RB-vs-R или RRP-vs-Q за слабейшую сторону

А что? Если на доске ничейная, а Стокфиш играет лучше любого гроссмейстера экстра-класса, то должен по идее, эту ничью сохранить.
А на деле, я если напишу такую нейронку, то в случае одинаковых Draw продолжений по базе, буду 1) выбирать те, которые тем не менее, кажутся нейронной сети более
вероятными для выигрыша, 2) проведу наконец, и этот "статистический анализ" о котором выше писал, т.е. будет "продвинутое использование" моей эндшпильной базы.
У меня с этим проще - т.к. есть свои базы, и не надо обращаться к постороннему коду, как было бы в случае использования баз Налимова.

Тут ещё пара коментов. Сила Stockfish всё-таки указывает на то, что он тяготеет больше ко сложным позициям, где у него больше шансов перекатать другие движки. Возможно даже в оценке присутствует некоторый перекос — сложные позиции имеют бонус. Понятно, что это не лучшая линия против 32-гурных таблиц. Но это устранимый недостаток (программно или кентавр)

Имхо, играть в середине движку намного проще — больше ориентиров. Если брать начальную позицию, то даже из общих соображений можно сказать, что какой-нить g2-g4 неудачный ход. В окончаниях ситуация меняется, там куда больше ходов-кандидатов, не так динамично меняется оценка, что не позволяет проводить эффективные отсечения.

Ну значит , у меня получится допилить свою программу , которая если будет играть по базам. а Стокфиш без них... И при этом из Draw (ничейной) позиции, Стокфиш тем не менее, проиграет.
Т.е. программа будет реализовывать даже малейшие преимущества. Вот на это будет интересно посмотреть..

SkipperNorton, это я наобум сказал про 300 пунктов))

В реальности, конечно, не стоит переоценивать уровень SF, скорее всего он очень маленький при сравнении с 32-фигурной базой. Многие делают выводы о невероятной силе SF исходя из того, что его становится с каждым годом сложнее улучшать, но никто не делает поправку на то, на каком железе работает SF. А оно, откровенно, слабое: даже 1 000 000 000 перебранных позиций не дадут Stockfish-у полного понимания позиции. Ну и я уверен, что любой движок даже такого уровня зачастую ошибается и не видит длинной последовательности тихих (простое еремещение фигуры, без взятий/шахов/продвижений) выигрывающих ходов. Их ни один движок нормально не видит, поэтому мы этого не замечаем. А всего позиций, если я не ошибаюсь, около 10^40-10^50. Так что рейтинг базы может быть запросто и 6000, и 7000. А еще это зависит от того, насколько эта база умна, т. к. лучше выбрать продолжение, из которого меньше ходов ведут к победе.

И да, 0.9 в 150-ю степень надо возводить, а не в 15
А это уже даёт разницу в 3500 пунктов примерно

Да, скорее всего так и есть. Уже 10 лет назад говорили, что мол "почти потолка достигли", когда Фриц-10 и Рыбка были в лидерах.
И что потом? Появился Гудини, который всех переиграл. Ну думали, уже лучше Гудини мало кто сыграет.
Ан не тут то было - Комодо обыгрывает Гудини. Потом - Стокфиш - обыгрывает Комодо.
А потом и сам Стокфиш был разгромлён программой Альфа-Зеро .

Ну и сыграй сейчас Фриц-10, или Рыбка - с этим Альфа-Зеро - и гле они окажутся ?
А когда то про них говорили что мол "почти потолка по силе игры достигли, и дальше рост силы программ почти прекратится".
Но как видим, он совсем не прекращается.

Не удивлюсь если лет через 5, какая нибудь нейронная сеть, обыграет Стокфиша, в 90 партиях из 100.

А до 32-фигурной базы c "продвинутым использованием" (о чём я выше писал) - всем как до Луны.

Если взять за последние примерно 5-6 лет, то рост наверное обязан росту производительности компов, распараллеливанию работы и совершенствованию собственно алгоритма поиска хода примерно в равных долях.
Но если взять например Sf9 и последний, то все 50 Эло в основном по причине совершенствования кода

Если повезет и Сток пойдет на что-то типо закрытой староиндийки, то там качество не сразу скажется. А если он еще рокирнется под атаку, то, думаю, да, можно выиграть. Одну партию из многих сотен.

—- добавлено: 17 ноя 2018 —-

Это будут форсированные варианты с разменами.

Привет SkipperNorion рад снова тебя здесь увидеть.
Удивительно под твоим ником видеть "плакатик" "новичок".

Количество позиций в шахматах оценили еще в 50-е годы (по моему Шеннон) это 10^42 или 10^43.
И тут проскользнуло, Разница между двумя программами 3500 elo.
Если сравнивать только 2 программы. То разница между ними никак не может быть больше 400 elo.

ну это если руководствоваться правилом FIDE, если получается больше 400 , то считается что 400
А если просто считать по очкам?
Считается, что при 1 очке из 100 это уже 735 Эло разницы
А ведь можно сыграть и 1000 и 10000 игр?

Alex_Lk, почему не может быть? Разница в рейтингах напрямую связана с мат. ожиданием доли очков в матче.

3500 - это разница между программой, ошибающейся в 1/10 случаев по 32-фигурным базам (при условии, что партия в среднем длится 150 ходов).

Не важно сколько игр. 10 или 1000. 0 очков из 10 или 1000 это 400 elo разницы.
Что бы разница была больше нужно сравнивать больше программ.
Вообще рейтинг это не абсолютное число. Рейтинг Elo может быть только относительно чего-то.

Alex_Lk, почему 400? 0 из 1 это бесконечность (infinity) Эло разница, когда я делал тест между своим движком и Stockfish, cutechess показал около 1000 ЭЛО разницу.

Во времена рыбки и фрица я играл в адванс и мог улучшить игру программ, поэтому никаких таких разговоров не велось. Разговоры пошли уже после того, как в адванс стало сложно обыгрывать чистого оператора, т. е. где-то появление Stockfish.

Тут другое, никто не ставит цель улучшить игру Stockfish в дебюте, потому что уже есть много дебютных книжек. Выбирай любую по вкусу. И это у него отобрали. И даже 10 показанных партий достаточно однообразные (одни дебюты, почти одни варианты).

Думаю, по правилам Deep Mind это можно достигнуть даже сейчас только за счёт дебютной книги.

Во-первых обучается не мозг, а сознание Во-вторых мы именно обучаемся, то есть стараемся понять, какие в шахматах действуют законы, а нейросеть собирает статистику что от чего зависит, при каких конфигурациях на доске. Мы же выявляем почему в этих позициях, происходит именно это, а не то. Это большИй уровень абстракции. Но у машины, ессно, статистика не сравненно больше и скорость перебора по этой статистике несравненно больше. Но понимание, видимо, вещь, присущая именно натуральному интеллекту, а не искусственному...

То есть оценивает.Так же как обычные движки,которые поэтому интереснее чем нейросети.Обычный движок "думает" а не вспоминает.

А чем сбор статистики отличается от понимания? Человек в голове также использует нейронную сеть, которая отвечает за интуитивную оценку позиции. И обучается человеческая нейронная сеть похожим образом, собирая и обобщая статистику.

Отличие человека от компьютера в том, что у него, кроме алгоритмического и нейронного мышления, есть еще способность к творчеству, к изобретению принципиально новых вещей. Но как раз эта способность в шахматах практически не задействуется.

Если рассмотреть процесс прикладывания к круглому отверстию фигурок разной геометрии,то в одном случае,это будет перебор вариантов пока не подойдет фигура,в другом оценивание.Похоже выбор хода нейросетью это вспоминание позиции,сравнение с имеющийся на доске позицией,позиций в памяти и выбирает ту,в которой был лучше ответ,а классический движок оценивает позицию с учетом к тому же ответных вариантов.То есть статистика,это выбор из имеющегося,а понимание,это оценивание.

Именно, что не осознаётся. Нейронные сети, лично меня, заставляют, скорее, задуматься, об особенностях нашего, человеческого мышления. Основной вопрос в нейронных сетях, а чем, принципиально, человеческое мышление, отличается от нейроной сети В ЗАКРЫТОЙ СИСТЕМЕ?
С одной стороны, интуитивно мы чувствуем, что оно, конечно, есть, и, вероятно, не маленькое, но для закрытых систем их сформулировать очень тяжело, потому, что то, что делает машина, очень похоже на то, что делает человек, закономерности - она набирает по статистике, по системам схожим с системами распознавания образов, распознаёт схожие мотивы, мы, вроде, делаем, примерно, также, а далее, и мы считаем, и она считает, только если оценка позиций у нас может и более творческая, то скорость счёта, да и точность, у них, не в пример выше. Отличие, в некотором роде, в счёте - мы не считаем по весовым коэффициентам, наш счёт, основан именно на позиционной оценке позиции, на её внутренней структуре и динамике. Но всё это очень сложно
Попробую провести аналогию. Из живой природы, нейронная сеть, напоминает, не интеллект, а скорей рефлекс. Что это значит? Это значит, что рефлекс это почти идеальный механизм, который из миллионов повторений, выучил все ключевые воздействия среды и научился очень тонко и точно на них реагировать. Рефлекс плох только тем, что он слеп, то есть когда ситуация меняется КАРДИНАЛЬНО, он не в состоянии это быстро осознанть и перестроиться, для этого нужно сознание. Что в шахматах общего с внешней средой? Только то, что они тоже практически бесконечно сложны (хотя, конечно, в некотором роде, бесконечно проще реального мира, но не смотря на это всё равно очень и очень сложны). А значит и внештатные ситуации в ней, скорее всего, будут практически всегда - любое не значительное изменение, может привести к тому, что ключевым в ситуации станет совсем не то, что было до этого. Да, своим счётом машина это компенсирует, но сам принцип, нахождения принципиально нового, у неё нет, а у нас, по-видимому, есть. Понимаю, что это интуитивно, но всё-таки...

Всё-таки он не думает, а скорей, считает. Он же всё равно оценивает по оценочной функции, а она, как ни крути - формальна. Зато быстро Но это я сказал про сравнение "обычных движков" с человеческим мышлением, что же касается нейросети, тут, в данном случае, вдумчиво, не готов ответить. Но замечу, что нейросеть играет значительно тоньше...

Интересный вопрос. Алгоритмическое мышление (перебор вариантов) это в чистом виде сознание. Творческое мышление это в чистом виде подсознание. Сознание здесь нужно только чтобы загрузить информацию о задаче. А вот что такое нейронное мышление? Мне кажется это тоже подсознание. По крайней мере шахматные идеи аналогично творческим бывает на утро всплывают в голове, когда шахматами много занимаешься. Поэтому пока Таль думал про бегемота, возможно действительно нейронка делала свою работу.

—- добавлено: 19 ноя 2018 —-

Нейронные движки точно также перебор используют. Нейронная сеть без перебора вариантов играет в силу первого разряда или в лучшем случае кмс.

Undying, никакого "в чистом виде", тут и рядом не лежит. Он действует, в некоторых аспектах АНАЛОГИЧНО сознанию, просто есть некоторая схожесть в работе алгоритма и в том, что делаем мы. Нейронная сеть, по тому КАК ОНА УЧИТСЯ, также близка к тому, как учится человек, пробует, смотрит что получается, находит определённую закономерность. Но у человека степень абстракции, по-видимому, выше, поскольку его понимание, суть, принцип действия, а нейронки понимание - вероятность в схожих ситуациях, получить схожие действия. То есть, всегда есть верятность, что ситуация только кажется схожей. Кажется, что и человеку и машине, чтоб себя проверить, нужно посчитать, но опять же, машина перебирает варианты по алгоритму, а человек, по сути, не считает, а, исходя из своего ПОНИМАНИЯ позиции, видит возможности, а дальше их проверяет, смотрит что меняется, начинает лучше понимать, что от чего зависит в данной ситуации, у него возникают новые идеи, и так далее...
Про творческое мышление очень рекомендую почитать вот эту лекцию.
Там кстати есть в примерах про мышления шахматиста.

Как то особо не верится.Альфазеро перебирала почти в 1000 раз меньше позиций чем стокфиш,80 тысяч в сек против 70 миллионов.(если не ошибаюсь)
Если стокфиш ослабить в 1000 раз,то уровень будет разрядника,а альфазеро с таким перебором обыгрывала стокфиш,значит основа силы альфазеро в вспоминании,а перебор просто для того чтобы исключить какие-то грубые ошибки.
Как уж там в реальности конечно мне неизвестно,но вот из такого видения ситуации,кажется именно так.

Уровень будет выше чемпиона мира. Стокфиш имея одно ядро и 1/8 минуты на партию способен играть на равных с топовыми программами времен известных матчей с чемпионами в начале века, даже если тем программам дать 256 минут на партию.

То есть разница в 2000 раз форы по времени. Отсюда, даже на скорости 1000 поз/сек Стокфиш способен играть на уровне чемпиона мира, при классическом контроле.

Любым перворазрядником проверяется на раз. Да и другим нетрудно. Уровень действительно +/- первый разряд.

Это радует!

Благодарю за ликбез.

Ну... проблема в том, что непонятно, что считать рассмотренной позицией. Например, для MCTS есть попадание позиции в дерево MCTS, а есть появление позиции в rollout. Для альфа-бета тоже есть разные градации, вроде ФВ, ... не говоря о том, что позиция может возникать параллельно в разных ветках. Так что сравнивать эти параметры не зная алгоритмов, имхо, не совсем корректно.