AlphaZero. Нейронная сеть играет в шахматы

Предлагаю усиления игры в партии (указанные на скрине):

Я про другое. В этих позициях Стокфиш даже на небольшой глубине ставит разумные оценки. То есть нет той картинки, которую про него пытаются намалевать: мол, Стокфиш не понимает невыгод позиции ферзя на h8 или что фигура может быть сильнее четырёх пешек. Причина проигрыша не в этом.

Комсюк, а у вас какая глубина была? У меня он тоже Kc4 долго показывал. Но там и так, и так проиграно было.

Еще раз: графические процессоры _уже_ неплохо работают с нейросетями. Лучший массовый графический чип в несколько раз слабее тензорного, но это потому, что графика затачивается под 32-битовые числа, а чипы для машинного обучения - под 16 бит, и потому, что конвееры GPU устроены намного сложнее. Адаптированный вариант AZ вряд ли сможет играть в такую же силу на машине с 1080 Ti (хотя кто знает), но и 64 ядер на массовых компьютерах пока еще нет. А вот через пару поколений графических чипов, весьма вероятно, жить станет проще.

если в несколько раз слабее, этого будет достаточно, чтобы проигрывать SF. Да и не у каждого сейчас есть мощная видеокарта. Но то, что нейросети для шахматных движков будут актуальны - это точно. Также, возможно, нейросети помогут просчитать 8-фигурные базы, используя хитрое сжатие похожих позиций. Я, конечно, не уверен здесь.

Комсюк, у меня ещё компиляция собственная. Обычный SF медленнее работает. Хеш 4 Гб поставил. Но если бы я ещё оставил его думать, он бы мог опять к Kc4 вернуться. Так что разменивание фигуры на 2 пешки было плохим решением.

Нельзя бездумно переносить преимущество от книги при игре против своих копий на игры против других программ (особенно сильно отличающихся). Так же как и лишнее ядро, книга особенно полезна в первом случае.
Вообще, я тоже думаю, что с книгой Стокфиш выиграл бы (иначе ее не отнимали бы). Но вот на сколько - неизвестно. Многое бы прояснили не выложенные партии. Если там, например, из оставшихся 18 побед 15 во французкой с небольшими вариациями, это один разговор, если все партии разные - другой.

Кстати, вот твит Демиса Хассабиса о том, что скоро опубликуют более подробную статью, после рецензирования:
https://twitter.com/demishassabis/status/939260541591347200

Все совпадает. Если несовпадает, я проверяю 8-й версией .

Не факт. До сих пор классическим движкам уделялось на порядки больше внимания. Как оно будет, когда фокус сместится на нейросети, и когда их заоптимизируют - кто его знает. Так было с го: против Седоля играли на 64 TPU, но новая версия победила всухую предыдущую, обходясь 4 TPU.

Конечно, проблема еще в том, что _для игры_ может быть достаточно видеокарты, но для обучения потребуется как минимум программа распределенных вычислений.

Есть другая причина. Возможно, создателям хотелось посмотреть на шахматы без какого-либо предварительного знания о дебютах с обеих сторон и проверить, не появится ли что-нибудь вовсе неизвестное. Типа выгодной вариации в дебюте Гроба. И нет бы найти вариант новоиндийской до того, как он стал модным - теперь многие не верят, что это не было подстроено.

Но ход Rf8 был слабый (там, где ферзь загнан в угол). Думаю, это все коллизии хеша.

—- добавлено: 11 дек 2017 —-

Уже в SF пытаются это внедрять. Думаю, нас ждут изменения в движках. Надеюсь, что в следующем TCEC будет хоть какой-то движок на основе нейросети. Пусть он будет и не самым сильным, не важно.

Для такого и дают адекватный контроль времени - ну там час на партию, хотя бы.
А не минута на ход...

Это только тесты могут показать.
В общем, это не имеет большого значения. Альфа-бета нормально не масштабируется на много потоков. Нейросети - масштабируются очень хорошо. А учитывая, что гигагерцы в ближайшее время расти не будут (в отличие от количества ядер), ясно, какое направление перспективней, и Гугл показал, что успех возможен. Значит через месяц или через год появится версия для обычных видеокарт, которые в магазине можно купить. Может от Гугл, может от кого-нибудь другого.

Вы работаете в науке, или так лишь бы с апломбом что-нибудь написать? Эта работа слишком серьезная, чтобы ее публиковать в левом журнале, а в "приличном журнале" должна пройти рецензии специалистов. Так что проблем нет.

—- добавлено: 11 дек 2017 —-

Понял, вы вообще в этом ничего НЕ понимаете.

Не стал бы в лоб сравнивать перебор разных движков (если A0 можно к ним отнести), использующих разные алгоритмы. Тем более после той истории с Райлихом и его Рыбкой, которая считала одно кол-во позиций, а выводила на экран совсем другое. Да и смысл этих цифр какой? Важна ИМХО эффективность, масштабируемость и , самое главное, сила игры в шахматы У Вяленого большАя часть этих пресловутых "килоноденсов"- это по сути мусор из-за особенностей алгоритма при распараллеливании потоков. А у А0 что "под капотом" мало кто знает, реально не хватает человека, который бы "разложил" по полочкам особенности архитектуры А0 (и всего остального) для простого смертного.

Для этого придется как минимум переписывать регламент (по сути создать новый), т.к. там все правила под обычное железо заточены.

...И он таки проиграл, даже на "том" компе. Стокфишу однозначно надо дать фору по времени, ибо нейросеть за 1 минуту находит исключительно глубокие идеи, недоступные для терминатора Т-100.

Самое забавное, что если поменять соперников местами после дебюта, то Альфазеро, скорее всего, все равно будет уделывать Стокфиша. Грубая аналогия - мастер черными в латышском гамбите обыграет кандидата в мастера. И кстати это идея заставить Альфу играть плохие варианты в дебюте. Посмотрел бы как нового бога опускают на землю обычные железяки. А с лишним конем даже я обыграл бы боженьку (правда не уверен, но с лишним ферзем - это точно).

Полистал твиттер Демиса и убедился, что даже победа над Седолем в го такого резонанса (при всем пиаре того матча) не вызвала ( такого количества ретвитов и комментариев) из-за, казалось бы, одной статьи на arxiv.org с десятком шахматных партий.

Не обязательно плохие. Белыми у SF был приличный счет в сицилианке.

А зачем нам "оценки железяки"? Мы что сами не видим, что стокфиш проигрывал всегда по одной и той же схеме: не развитость фигур . Если не знать, что играет машина, то любой тренер бы сказал: "Мальчик, фигуры нужно развивать!".

Интересно, почему Alpha Zero вообще проигрывал с таким уровнем позиционной игры. Возможно, где-то в тактике проссчитывался? Жалко, не дали нам эти партии.

Да, я уже вспомнил.

Ну, если посмотреть в статье, при обучении сицилианки было немного. Возможно, не хватало понимания дебюта, даже против SF без книги.

Хотелось бы напомнить уважаемой аудитории, которая тут до хрипоты спорит как дебютная книга даёт +9000 ELO стокфишу, что в препринте приведена статистика по 10 самым популярным человеческим дебютам и в каждом из них A0 сыграла по 100 партий с вяленным (50 белыми и черными, то есть всего 1100 партий включая 100 партий матча со свободным дебютом). И стокфиш был уничтожен везде, даже в B30 и B40 сицилианке, где A0 практически не играла с собой во время самообучения. Более интересно, что эти 10 дебютов составляли не более 30 % партий в конце самообучения, то есть еще 70 % игр тренировалось что-то другое.

И ELO рейтинг в шахматах "сжимается" при высоком уровне игры, так как ничейные тенденции все сильнее проявляются (это кстати в препринте отмечено). Такого например нет в Го, так как там нет ничьих в принципе.