AlphaZero. Нейронная сеть играет в шахматы

7-е место. Arasan вылетает из 2-го дивизиона.

Пока что бонусные партии, где тоже участвует Leela. Но почему-то играют больше Booot и Chiron.

У вас CUDA-версия движка?
И ещё какая версия сети играет?

CUDA-версия где-то в 5 раз. У меня, правда, видеокарта ещё хуже (GTX 660). Она выдает около 100 nps в OpenCL-версии и около 600 в CUDA-версии для сетей 20x256

Это Lc0 с CPU и маленькой сетью. Пробовали запустить на GPU, но оно опять перегрелось.

Разные подходы. Если за 6 месяцев LCero достигла уровня ТОП-движков, подход нельзя называть бесперспективным. Сравнивать Доту и шахматы немного странно, т. к. это полностью разные игры. Реалии таковы, что LC0 скоро подвинет коммерческих Komodo и Houdini на равном железе.

Увы, когда пожар в доме, достаточно тяжело при этом играть в шахматы, а при этом еще кого-то обыгрывать.
Там ведь все было куда хуже, чем даже потеря 80% мощности. Мне кажется, все должны просто забыть этот сезон с такими ляпами. Есть, конечно, категори людей, которые увидели одну партию и сделали вывод о не перспективности подхода. Через год, когда Lc0 обыграет Sf со счетом +16 -6 =78 прочитаете и поймете, кто был не прав

мошенница_сара, поддержка эндшпильных таблиц уже появилась. Да и сила игры в эндшпиле не так важна, как в миттельшпиле и дебюте. Обойдет ли LCZero Stockfish в самое ближайшее время? Вопрос непростой. Но сначала надо попасть в финал, вытеснив основных конкурентов, а после и за Stockfish браться

Странная паника. Энтузиасты на коленке за полгода сделали принципиально новую программу, которая на дешевом железе уже играет на около топовом уровне. Прекрасный результат. Я ожидал много меньшего.

С чем сравниваем? Переборные движки вообще в доту играть не умеют. Переборные алгоритмы годятся только для простых счетных игр типа шахмат. Даже в го переборные движки слабы, а нейронка легко человека обыграла. Конечно, когда дело доходит до сложных задач до человека нейронке далеко, но в сравнении с переборными алгоритмами это большой шаг вперед.

все таки ранее не всегда хватало производительности для обучения, а с теорией и сейчас не важно...

Пока она может рассчитывать на не около топовый, а за пределами топовой десятки, но это пока....
Есть надежда что в эту десятку она все же войдет..... на топовом железе

Думаю все таки не скоро ещё, если взять CPU для Komodo за хотя бы $100 и равного по цене GPU для LC0 то думаю что Komodo без особых затруднений выиграет.

Она возможно выйдет уже в начале ноября.

Давайте так… если взять «сферический алгоритм в вакууме», то ясно, что алгоритм заточенный под одну задачу – гораздо эффективней, нежели общий алгоритм, способный выполнять многие функции и решать многие задачи. Успех нейросетей в том, что это общий алгоритм, хорошо работающий в плохо формализуемых задачах, когда быстрее и дешевле загнать на «обучение» миллионы примеров с конечным результатом, нежели выискивать вручную закономерности, выстраивая точный перебор.

Успех нейросетевых технологий в игре в Го на мой взгляд обусловлен тем, что уровень человеческих знаний об этой игре (имхо) – ниже плинтуса. В игре Го уровень человеческого понимания находится где-нибудь в районе 15 века (если сравнивать с шахматами). Но я на этом не настаиваю.

А вот относительно теории шахмат ситуация может быть такова, что наше понимание очень близко к идеальному, что все основные нюансы раскрыты. Именно поэтому, человеческий мозг способен на данном этапе создать очень мощный переборный движок, заложив в него свои знания.

Что касается других игр (Дота и прочее). Создать общий алгоритм для решения таких задач сложнее потому, что длительность одной партии может занять гораздо больше времени, нежели партия в шахматы. И чтобы, к примеру, обучить сеть на 10 миллионах игр, может потребоваться 100 лет (цифры с потолка). Это проблема, которую решать «общими» принципами довольно сложно, требуется комбинировать подходы, обучать стадиями.. короче думать.. в общем, опять должен работать человеческий мозг, а компьютеру удостоена роль калькулятора. Скукота, а начало было таким вдохновляющим.

Мне вообще все эти истории напоминают эпоху генетических подходов в программировании. Тогда тоже все думали, что пошел прорыв в сфере искусственного интеллекта, и что, дескать, программы будут эволюционировать сами… Но.. проблема комбинаторного взрыва не была решена тогда, и она не будет решена и в этот раз.

Сейчас в бонусе, кстати, LCZero делает ничейки против Stockfish 8. Правда иногда проигрывает. Играет на слабом GPU (около 1kn/s)

Для того, чтобы переборный алгоритм был эффективен задача должна иметь ограниченное число вариантов и простую оценку позиции. Шахматы под эти условия подходят. Го уже нет. И число вариантов слишком быстро растет и оценить позицию сложно. С более сложными задачами, хотя бы типа Доты, все совсем печально.

У нейронных сетей в отличие от переборных алгоритмов уже есть понимание, но только пространственных задач. Поэтому в го нейронка показала потрясающие результаты. А там где, как в Доте, есть не только маневр начинаются проблемы.

Накопленные знания здесь совершенно не причем. Все что накопили за человеческую эпоху в шахматах в переборных движках не используется. В нейронных сетях тоже самое - самообучение оказалось эффективнее использования человеческого опыта.

С такой скоростью (1kn/s) можно было ожидать и 00000000. Stockfish 8 сильнее последней версии Ethereal. Теперь просто ускорьте Lc0 в 20 раз и наблюдайте, как проиграет Stockfish 8, Ethereal, везунчик Arasan и остальные.

И что не так? Счет 5.5 на 2.5, т.е. разница в рейтинге порядка 150 пунктов. При этом Стокфиш играет на проце за 8 килобаксов, а Лила на бюджетной видяхе, которая раз в 50 дешевле.

K80, кстати, примерно столько же и стоит xD
Но по скорости в 10-20 раз медленнее, чем даже 2x1080Ti, не говоря о том, что будет в следующем TCEC

Разница в понимании шахмат нейронного и переборного движка впечатляет. Лила считает в 50 тысяч раз вариантов меньше, а играют практически на равных. В 11 партии в миттельшпиле Лила белыми красиво Стокфиш перекатала. Стокфиш себе показывал себе минус пешку, но в ничейный ладейник без пешки сумел соскочить.

Теперь Lc0 на V100 запустили

До человека нейронке по пониманию еще далеко. Гроссмейстер в понимании превосходит нейронку примерно в ту же 1000 раз, что нейронка превосходит переборные движки.

Понимание в шахматах это прежде всего выбор хода, а не оценка позиции. Прилично играть можно и не оценивая позицию вообще Вообще для MCTS оценка позиции это отдельная задача, никак не связанная с силой игры. Так что для иллюстрации "непонимания" надо приводить позиции и ошибочный ход. А оценка вообще условность, не имеющая даже точного опеделения. Вот, например, начальная позиция. Какая у неё оценка и почему? Что эта оценка показывает?

И не забывайте лилины оценки на 3 делить. Там сейчас просто формула пересчета вероятности победы, которую возвращает нейронка, в пешки, которые показываются на экране, неверная.

Думаю, как только Lc0 станет движком #1 в рейтинг-листах, все вопросы о "понимании" пропадут

А почему тогда белые побеждают чаще?

Это часто так в Alpha-Beta с минимаксом, но в MCTS это необязательно так. Начнём с того, что как таковой оценки в MCTS нет, есть только некоторое значение между 0 и 1 говорящее о том, какое среднее по палате количество очков было набрано в симулациях. И эта оценка смещённая, потому что в симуляции попадают не только наилучшие ходы, но также и плохие, но малоисследованые продолжения.

Например, мы делаем ход 1. e2-e4. Допустим для этого хода было разыграно 100 симуляций. 20 симуляций пришлось на c7-c5 с результатом 10.5; 20 симуляций пришлось на e7-e5 с результатом 10.5, 15 симуляций приглось на e7-e6 с результатом 8.5, 15 симулаций на c7-c6 с результатом 9.0, и 30 симуляций на остальные ходы (d5, d6, Nf6, f5, h5, ...) где было набрано 21.5 очков.

Тогда мы получаем оценку 10.5 + 10.5 + 8.5 + 9.0 + 21.5 = 60. Т. е. 60%, шансов на победу, или,скажем, +1 пешка. В то время как минимаксный двидок выдаст что-то вроде +0.05, потому как ходы f5, a5 вообще не повлияют на оценку.

—- добавлено: 25 авг 2018 —-

Получается, что тогда от движка мы вправе требовать только три вида оценок: 0, ½ и 1. В целом такую оценку достаточно просто взять у Leela (спускаемся по симуляциям в наибольшей статистикой и смотрим результат), вот только вряд ли такая оценка будет удовлетворять админов TCEC и просто пользователей.

Нужно всегда помнить, что оценка позиции и выбор оптимального хода - связанные задачи. Если есть способ оценивать позиции, то можно просто перебрать все ходы и выбрать тот, который приводит к позиции с максимальной оценкой. Обратная задача (по распределению вероятностей на лучший ход научиться оценивать позицию) намного сложнее. Она допускает множество решений, но какую-то более-менее хорошую оценку попытаться восстановить всё равно можно.

Если вы имеете виду применение аппарата теории игр, то это не так. А вернее, ещё человечеству неизвестно.

Скорее всего да, но вот когда,это пока не известно
На примере A0 видно ,что рейтинг для сети размера 20х256 уже почти исчерпан и Lc0 вполне это подтверждает, даже если считать, что в тестовой сети немало ошибок и новая,которую начнут обучать в конце сентября, их (и других) будет лишена, все равно вряд ли её рейтинг заметно превысит рейтинг A0 (ну может на 50 Эло), а этого сильно мало,что бы достаточно уверенно обойти Стокфишь 10 на TCEC 14.
Для перехода на большую сеть пока нет технических возможностей. И вряд ли они появятся в следующем году. А для рядовых, не обремененных большими деньгами, любителей шахмат классические движки ещё довольно долго будут опережать NN движки