AlphaZero. Нейронная сеть играет в шахматы

Нельзя Точнее, СКОРЕЕ ВСЕГО нельзя. Сейчас есть очень много теорий, как работает мозг. И почти все теории утверждают, что общего в работе мозга и синтетической нейросети нет вообще. Разве что слово "нейрон" их объединяет. По одной из перспективных теорий - основной элемент мозга - это кортикальные колонны, которые запоминают одновременно всю семантическую информацию за всю жизнь. Каждая колонна - это контекст изменения этой информации. Расположение этих колонн друг относительно друга критично, этим определяется структура, но они расположены по всему объему мозга, что позволяет иметь голографическую память (удаляя часть мозга, мы не теряем информацию, а только теряем контекст восприятия). Объем памяти колонны от 300 до 500 мегабайт. Эта информация семантическая, сжатая. Передача сигналов волновая, кодирование идет нейромедиаторами, количество которых превышает два десятка... есть возбуждающие, есть стопорящие. В компьютерных моделях это сделать можно, и даже есть положительные результаты, но обсуждаемые здесь нейросети - это совершенно другое. Поэтому нет, мозг - это не нейросеть.

Я бы сказал что сравнить можно, кто же запретит сравнить? Вот в статье ведь сравнили! Но нет никаких гарантий что сравнение верное.

Да и считать можно по разному. Например, можно моделировать поведение каждой молекулы. А можно моделировать на уровне рецепторов и нейродедиаторов...

Также мозг достаточно специализирован, можно моделировать только ту зону, которая отвечает за шахматы. А можно весь целиком со спинным мозгом...

Мозг гораздо сложнее и мощнее нейросети. Проблема белкового шахматиста в том, что подключается сознание, которое чудовищно медленно и однопотоково. Это примерно как учиться ходить, сознательно контролируя каждую мышцу.
Если бы для выживания человечеству требовалось играть в шахматы, стокфиш бы нервно курил в сторонке. Все решения принимались бы на подсознательном уровне и практически правильно.

Могу предложить такой эксперимент - ребенку каждый день показывают 100500 случайных позиций с четкой оценкой. И так лет пять. Правила шахмат при этом даже объяснять не надо. А потом учим его правилам и сажаем играть с супергроссом.

Интересно, что даже утверждение о том что alphazero "знало правила игры", не правда.

На каждом шаге оно сообщает свою оценку по каждому ходу, в том числе и нелегальному, а уже внешний контроллер (а не нейросеть) отбирает из возможных ходов разрешённые.

Точно также alphazero не знает цели игры, просто в процессе обучение ему сообщают что "в этой ситуации этот ход был легальным и в конце концов привёл к победе/поражению/ничьей", и больше вообще абсолютно ничего.

Оно даже не знает изначально как ходят фигуры, то есть например не знает где окажется конь на следующем ходе если им походить, всё из наблюдений выясняет!

(представляю как он удивляется когда впервые видит взятие на проходе ) )

В том и дело, что в настоящий момент почти все, кто занимается мозгом, соглашаются, что в мозгу нет специализированных зон. Нет, ну есть конечно зрительные, слуховые... но так чтобы была зона, отвечающая за шахматы - этого нет. Раньше да, была концепция, что существуют отдельные нервные клетки, которые побуждают особую реакцию на какие-то явления, на конкретных людей или происшествий. Типа если есть бабушка, то должен быть нейрон, который отвечает за ее восприятие. Эту концепцию так и стали называть - концепция "нейрона бабушки". Но в итоге выяснилось, что это совершенно не так. Все нейроны могут быть задействованы для всего. Поэтому мы и имеем голографическую память

Шахматная Альфа знает правила, как в обычном MCTS движке у него есть генератор ходов.
НС правила знать и не надо, она занимается аппроксимацией. То есть некая функция от позиции. Которая должна возвращать оценку и некий вектор.
У нас есть позиции, для которых мы знаем значение функции (не точно, примерно - есть шум). Этого достаточно.

Правила не знает нейронная сеть (переборные алгоритмы правила знают) - но ей этого и не надо. Ровно так-же как ОФ в обычной программе не надо знать правила. Или сортировке ходов - сортировка ходов в шахматной программе тоже правила не знает. Но при этом вес каждому ходу выставить может.

Что, Стокфиш работал на 64 потоках и имел в располяжении только 1 гиг хеш памяти? При таком сумбуре, когда 64 потока меняют данные в одном гигабайте, там мог накопиться мусор. Вот дали бы Стокфишу обычный компьютер на Core i7 и дали бы всего лишь одно ядро и один поток и дефолтную хеш память. Очень даже может быть, что результат тогда против альфы мог быть получше

Так а в каком месте партии (в любой из проигранных) сток совершил ошибку?

Я клоню к тому, что мы до сих пор не знаем который конкретно ход плохой ( как обычно бывало в анализах) :"... этот ход ошибка, этот ход ещё ошибка, а этот - решающая ошибка!" Мы не находим никакую ошибку - ни решающую, ни первую, ни вторую... Не слабо, да?

Случайное. Во время тренировки сети об этих ходах ничего не говорили, поэтому эти значения вообще не оптимизировались.

Но если во время тренировки у всех нелегальных ходов ставить низкую оценку, то нейросеть и сама начнёт определять правильные ходы. Но это замедляет обучение безо всяких плюсов (за правилами всё равно следит что-то снаружи нейросети).
И ещё минус в том, что если всё время тренировать редкие ходы (например, пытаться ферзем совершить "превращение пешки в коня со взятием по диагонали") как неправильные, то нейросеть натренируется что это плохой ход, и не будет пытаться его сделать даже когда он уместен.

Так ведь сетке не дают на вход ходы, а дают на вход историю позиций из 8 досок. А она сама выдает вектор ходов. При этом ходы ферзя, устроены так, что задается направление (одно из 8 возможных), и длина отрезка. Вроде бы так.

У нас пока нет движков, которые могут провести полный анализ партии. Там будет что-то такое: Сначала мат в 15478 ходов черным, потом ничья, потом мат в 1258799 ходов белым. Тут будет понятно, кто какие ошибки делал. Мне больше интересно то, как сеть оценивала позицию до Rf8. Ничья ли там или выиграно? У меня в симуляции SF сделал ничью после хода Kf8, но что говорила сеть там, мы не знаем. Непонятно, почему в PGN нет информации о глубине и оценках позиции.

Я проверяю рокировки битовой маской, у которой в начале партии единицы установлены в углах (ладьи) и там, где стоят короли. После хода битовая маска рокировки пересекается с масками короля и ладьи. Возможность рокировки проверяются 4-мя битовыми масками для всех типов рокировок.

В позиции A0 содержит поля о рокировках.
Colour - чей ход
Total move count - всего ходов
P1 castling 2 - рокировки одной стороны
P2 castling 2 - рокировки другой
No-progress count - ну и для правила 50[/QUOTE]

Да, на вход нейросети ходы-кандидаты не передаются.
Есть две сети, обоим на вход подаётся текущая позиция (с историей на 8 полуходов).

Первая выдаёт свою оценку "перспективности" (вероятности, что так надо ходить) каждому из 4672 ходов.
Вторая выдаёт вероятность победы/ничьей/поражения для позиции.

Первая используется для выбора, какой из узлов дерева продлить.
Вторая используется для оценки ситуации после продления этого узла.

Нейросети правил не знают, их знает только "контроллер" метода монте-карло, он не пытается продлить нелегальные ходы, какими бы "перспективными" эти ходы нейрость ни считала.

Не дерзи.

могу увеличить время на ход и поставить Komodo против SF здесь.

Как таковой глубины у Альфа Зеро нет. Он же не сплошняком считает, а одни варианты просчитывает глубже, а другие совсем поверхностно. Что здесь глубиной считать? А вот оценки позиции, да, могли бы и опубликовать, было бы интересно.

Это не так: на глубоком анализе вылазят ошибки и неточности за SF и почти ничего не вылазит за А0.

Тут многие напирают на то что такой анализ делается на SF, а потому неточен - однако если бы дело было в этом, многие ходы A0 обозначались бы как ошибочные. Как это происходит обычно, когда партии сильных движков анализируются более слабым.

А оценок позиций тоже нет. Есть выходной вектор ходов с вероятностями. Где больше - туды ходим.

Мне интересно, ничья ли после Kf8.

—- добавлено: 15 дек 2017 —-

Да, оценку выдавать в процентах можно. Ну, хоть какая-то доп. информация должна быть.

Комсюк, У Fruit какое-то особенное понимание позиции? Мне просто интересно, какие есть основания считать ту позицию выигранной.