AlphaZero. Нейронная сеть играет в шахматы

Нейросеть очень прожорлива к ресурсам, если не использовать GPU и специальные вычислители. Поэтому на равном железе или Сток не запустился бы (ибо не знает, как задействовать GPU/специальные платы), либо AlphaZero считала бы 700 позиций в секунду.

—- добавлено: 8 дек 2017, опубликовано: 8 дек 2017 —-

Ему просто не объяснили стоимость шахматный фигур.

Современные CPU умеют выполнять достаточно сложные операции, но делают это последовательно. Современные процессоры — многоядерные, и они могут выполнять независимо одновременно несколько последовательностей инструкций (например, у стокфиша было 64), но классические алгоритмы нельзя так просто переложить на такие процессоры. Точнее, прирост скорости будет, но не в 64 раза, а гораздо меньше.

TPU по сути умеют делать только одну простую вещь: перемножать тысячи вещественных чисел одновременно, а больше ничего они делать не умеют. При этом стоимость у них такая же как у CPU. Так получилось, что перемножение большого количества матриц является самой трудозатратной частью нейросетей, при этом алгоритмы нейросетей позволяют это делать параллельно.

Поэтому нельзя сказать что TPU быстрее, чем CPU, они разные:
* TPU умеет перемножать вещественные числа, а стокфишу это не надо. Классические шахматные программы не работают с большими матрицами вещественных чисел или чего-то вроде того.
* у CPU есть много сложных и быстрых инструкций, которых нету у TPU, и стокфиш этими инструкциями пользуется вовсю, а alphazero они не нужны, она только перемножает числа и всё.

При этом стоимость и потребление электричества у одного CPU и одного TPU примерно одинакова (или даже TPU дешевле), так что это не сравнение суперкомпьютера обычным, просто у них разный набор инструкций.

Пару слов о teraflops.
FLOPS - это floating point operation per second, количество операций с плавающей точкой в секунду.
Когда выбирали как оценивать производительность процессоров, решили выбрать какую-нибудь типично трудную задачу для процессора и посчитать сколько раз в секунду процессор её сможет выполнить. Такой задачей оказалась работа с вещественными числами, и она действительно медленна относительно других операций в современных CPU.

Но для TPU — это наоборот, единственный тип операций, которые он умеет делать! Поэтому когда сравнивают количество FLOPS между CPU и TPU, то сравнивают:
* сколько раз выполнится медленная неосновная инструкция CPU
* сколько раз выполнится единственная вещь под которую TPU оптимизирован и построен.
Это не совсем честно.

Это как например если бы договорились определять степень зелёности городов по количеству дубов там (потому что дерево редкое, особенно в городах), а потом сказали что искусственная дубовая роща в 1000000 раз лучше озеленена чем типичный город или лес.

Народ справедливо спрашивает: почему матч не провели публично? Комьюнити Стокфиша выставило бы настроенную по максимуму версию. А если Гугл так уверен в своих силах, то выставили бы его против "кентавра" типа Карлсен+Стокфиш!

Vertu, не всё сразу! Думаю, какие-то матчи мы ещё увидим
Информационная бомба неслабая рванула! Рекламный потенциал ещё есть ...

Гугл не анонсировал ничего публично, никаких пресс-релизов, никаких новостей в блоге, никаких попыток рекламировать.
Всего лишь был добавлен препринт статьи в архив научных статей, а журналисты заметили и подняли шум.
Статьи на тему нейросетей в этот архив добавляются десятками в день, это нормальный процесс, и вообще это требование для продвижения научного знания, "что мы попробовали сделать и что получилось".

И основной посыл данной работы не "мы создали нейросеть, которая лучше всех играет в шахматы", а "мы создали универсальную нейронную сеть, которую можно использовать любой игры для двух игроков с полной информацией".

Сейчас этот препринт находится на стадии рецензирования. До тех пор пока рецензии не получены, статья формально не считается "принятой" научным сообществом, и комментарии по ней не дают.
После того, как "препринт" станет "принтом", разработчики дадут комментарии и интервью по поводу возникших вопросов.

И я думаю, что публичный матч тоже будет (скорее всего просто на чемпионат мира по шахматам среди программ выкатят alphazero, но это просто предположение, возможно вместо этого и будет что-то другое).

В этом прослеживается некоторое лукавство Google.
Ибо первый тур проходящего сейчас турнира London Chess Classic прошёл в здании штаб-квартиры Google (1-го декабря), а в предваряющим этот турнир мероприятии по командным быстрым шахматам среди супергроссмейстеров играл один из ведущих "разработчиков" AlphaZero (кмс по совместительству). Выводы сделать не сложно. Пресс-релиз намечался. Вот таким своеобразным образом.

1. Да, действительно, вычислительные мощности на тренировку очень большие. На самом деле, используемые алгоритмы нейросетей более-менее общеизвестные, и даже многие любители могли бы подобную нейросеть построить. А вот вычислительные мощности чтобы эту сеть натренировать — именно тут гугл имеет большое преимущество над остальным миром. И действительно, заявлять про "9 часов" — лукавство.

2. Нельзя сказать что у alphazero была дебютная книга, она просто в том числе научилась играть дебюты.
И кстати в том что у стокфиша дебютной книги не было, я не убеждён. Накамура предположил, остальные тему развивают, но нигде нету доказательств (а оно было бы простым: стокфиш сыграл так вот, а будь у него книга — сыграл бы по-другому)

3а. Это последняя стабильная версия. Заходишь на сайт, качаешь "последнюю" версию — и это она. Если более новая версия ещё не вышла — значит разработчики не обещают, что она будет работать.

3б / 3в — ничего не могу сказать, кроме того что уверен что "умышленно ослабить" стокфиш точно не пытались, но возможно действительно с настройками не повезло.

4. Как я уже писал выше, это не так. Это не "суперкомпьютер" против компьютера. Да, обычный процессор и TPU оптимизированы под разные типы задач, и если мерять производительность в teraFLOPS, то число у TPU оказывается гораздо больше, но это только из-за того что TPU оптимизирован под операции с плавающей точкой, а teraFLOPS именно этими операциями и меряет. Если сравнивать по другим показателям, например, цене или потреблению электричества, то оба компа равноценные.

В выложенных 10 партиях две испанки (Стокфиш белыми), две французкие и остальные новоиндийки, причем практически один и тот же вариант. Такого просто не могло бы быть, если бы использовалась дебютная книга с нормальными настройками.

А эти TPU вообще продаются? Я думал, они только у Гугла есть.

По давнишним тестам, удвоение размера хеша прибавляет около 7 пунктов эло (в эндшпиле немного больше). Так что, разница между 1гб и 64гб приблизительно 40 пунктов.

Вы путаете хеш с жестким диском. Иначе, причем тут дебютная библиотека и и базы?

Сергей Нефедов как-то писал:
Размер Хеша влияет на то какие конкретно позиции с лучшими ходами и оценками будут захешированы.
От этого зависит и оценка (захешированные оценки) и порядок рассмотрения ходов, и глубина вариантов после сделанного хода. Есно когда перебор идет в другое русло программа выдает другие ходы (в условиях нестабильного перебора - у всех сильнейших программ перебор нестабилен)..... И...... Программа лучше упорядочивает ходы, и лучше делает продления (не делает сокращений) на хороших ходах.

Гугл их вроде собирается в аренду сдавать и для желающих они уже доступны в альфа версии. Это интересная вещь на самом деле - это специализировая железяка для задач машинного обучения. Она дает огромную вычислительную мощность для узкого класса задач за небольшие деньги. Так что по цене у них было равное железо.

В препринте есть данные о тренировочных партиях А0 против Стока в разных дебютах. Интересно, что сициланку черными А0 не любит - в 150 партиях черными +10-11=129.
Вообще замечательно, насколько Стокфиш силен, обыграть его черными не может даже такой монстр.

Конечно, ничейная тенденция шахмат помогает. В шоги (где ничья практически невозможна), прежний чемпион проиграл 9:91.

На тему гугловского искуственного интеллекта был снят фильм под названием: "Из машины" 2014

Вы не забывайте, что устраивали матч они в начале года. Сейчас только статья вышла. В апреле восьмому стокфишу было 6 месяцев. Не вижу никаких причин считать его стареньким на тот момент.

Зарегистрировался, чтобы как-то отписаться по теме.

@crem довольно хорошо написал тут. Постараюсь его дополнить

1. Скорее всего над этим проектом работает относительно небольшая команда исследователей ИИ с доступом к мощному железу Google, поэтому они могли выбирать простые и понятные решения для игры в шахматы. Постоянное время на ход запрограммировать проще.
2. Почему они для Stockfish'а использовали 64 ядра? Дело в том, что это максимум для одной машины, так, чтобы она не стоила больше золота по её весу. Скорее всего это 4 прцессора по 16 ядер. А вот ссылка на самый дорогой процессор Intel, разница по производительности не слишком велика. То есть в 3 раза более мощный комп они сделать просто не могли, а быстро из Стокфиша нельзя сделать кластер на 10 серверов.
   
3. Возможно будет удобно "TPU" везде заменить на "видеокарта". По большому счёту, это она и есть, только без подключения монитора и панели управления Nvidia. Это также значит, что вы сможете натренировать точно такую же сеть у себя на компьютере. Если верить этой статье, то у них было 180*4=720 TF. Это соответствует примерно 70 1080 Ti. Если взять бюджетную сборку с одной 1080 Ti, то вам потребуется 70 карт * 9 часов = 26 суток. То есть меньше месяца. При этом для непосредственно работы такой мощности уже не нужно. Также стоит добавить, что построить кластер для обучения AlphaZero более мощный, чем у Google довольно просто, но очень дорого.
   
4. Я думаю, что DeepMind выложат код и скоро у любого человека с прямыми руками и не самым древним компьютер появится мини AlphaZero. Возможно умельцы сделают облачную версию.
5. Если видеокарты такие мощные, то почему Стокфиш работает на процессоре? По той же причине, по которой игры всё ещё требуют мощные процессоры. Потому что некоторые вещи просто невозможно вычислять на видеокарте хорошо. Поэтому говорить про разный уровень производительности нельзя. Если бы могли, стокфиш бы тоже работал на TPU. А так они его поставили на очень-очень мощный сервер. Правда кеш маловат получился, да.
6. Также нужно ответить на "даже если бы месяц обучалась, то быстрее бы не стала". Почти уверен, что алгоритм работы непосредственно шахматами составлялся "на коленке" без цели создать супер ИИ. Если дать исследователям ещё времени именно на шахматы, дать им специалистов по шахматным ИИ, то они смогут сделать AlphaZero ещё лучше.

Сделайте уже кто нибудь видеообзоры этих 10 партий. Чтобы любители-профаны могли прикоснуться к мудрости Альфа Зерровой.

Теперь я стал по-другому оценивать единственную победу Ли Седоля над АльфаГо. Похоже, что это было что-то вроде чуда или какой-то чудесный сбой в алгоритме программы.

Пока что все, даже самые продвинутые разработки ИИ, обладают одним свойством: у них нет воли. Нет самоосознания, нет желаний. При самых продвинутых алгоритмах у них нет даже близко таких простых вещей как "хочу-не хочу", "нравится-не нравится", которые есть даже у новорожденных детей. Загрузили в нейросеть шахматы - играет в шахматы, загрузят модель мира - будет играть в модель мира.
И, чуется, до того чтобы научить табуретку воле и проявлению этой воли, такая гигантская пропасть, что спать можно абсолютно спокойно. А вот то чего надо по настоящему бояться - что с такими продвинутыми алгоритмами будут делать взрослые белковые дяди и тети, обладающие властью и ресурсами. У них этой воли - ложкой ешь.

Для тренировки использовалось 5000 TPU. Поэтому просто так дома Зеро не натренируешь. Единственное напрашивающееся решение - распределенные вычисления по типу Лилы. Но к сожалению, спецификация нейросети пока не опубликована.

За все мытарства у черных есть лишняя фигура.
Видимо, стокфиш считает, что больше вечного шаха белые добиться не могут (не ну правда, на доске не так уж много фигур). И лично для меня именно большой перевес белых неочевиден, то, что белые играют на победу практически с ничьей в кармане - это да. Но что у черных прямо так безнадежно...