AlphaZero. Нейронная сеть играет в шахматы

Вообще, от "перспектив" дух захватывает!
Точно такую же "процедуру обучения" Альфы можно проделать во всех актуальных дебютных табиях!
В контратаке Маршалла, например, или в Челябинском варианте, в Волжском гамбите и прочая.
Только надо ли это делать в принципе? Это большой вопрос ...

Все равно потрясает, если отвлечься от чисто шахматно-движковой точки зрения. Ведь по сути начинка стокфиша - худо бедно, но эссенция шахматной мысли, развививавшейся столетиями и выраженное в функции оценки позиции. Начиная со "стоимости фигур", борьбы за центр, кончая современным позиционным пониманием игры. Это результат человеческой шахматной мысли - многих людей за долгое время. И тут приходит ИИ и ему просто объявили правила. За несколько часов он, поиграв сам с собой (!), оказался способен создавать эстетические шахматные шедевры, находить современнейшие дебютные линии и бить мощный движок пусть и слегка кастрированный. Все развитие шахматной мысли и истории сжалось в несколько машинных часов. В этом смысле прошлая история с Го еще не была такой сенсацией, машина училась на человеческих партиях.

Веса в оценочной функции уже давно настраиваются с нуля. Как минимум, со времен первой Рыбки, а может и раньше. Никакие чисто шахматные знания при этом не используются, все веса результат миллионов тестовых партий между собой, прям как у NN.

Осталось найти пару млрд американских не рублей для покупки DeepMind со всеми потрохами (она ведь уже явно больше стоит тех 650млн$. что за нее давали неск. лет назад) у Гугла, да еще придется как-то договариваться насчет того, чтобы пользоваться мощностями Гугла для обучения этого ИИ-монстра.

В челябинском у черных не хуже, но и не лучше ес-но. Это стало ясно еще во времена Рыбки3.

Если сравниваются две одинаковые версии, то скорость влияет очень сильно. Они же фактически смотрят одни и те же варианты, но один из соперников - чуть дальше.

Начать надо просто с железа, тем более какой-то альфовский софт выкладывался:
Или собрать машину на многих видеокартах NVidia последнего поколения. У Tesla GV100 тензорная мощность 112TFLOPS
https://images.nvidia.com/content/t...tesla-volta-v100-datasheet-letter-fnl-web.pdf
Какой-то опыт собирания таких машин был накоплен при майнинге биткоинов, когда еще не было специализированных процессоров.
На Яндекс-маркете 1 предложение за $10 тыс. Можно подождать массовой версии.
Или купить мощность у Гугла
https://cloud.google.com/tpu/
Или попроситься в нее бесплатно - научным группам они дают доступ к 1000 TPU (4000 ядер), то есть 180 PFLOPS (см. статью по ссылке выше)
Или подождать пока кто-то (NVidia, AMD) выпустят TPU в свободную продажу

Gridnev, недавно ссылку выкладывали https://habrahabr.ru/post/343590/, самая последняя прога в го, обыгрывает ту что играла с Седолем со счётом 100 0 и ещё одну после 89 11, начиная обучаться с нуля, так что до шахмат уже испытали.

Может мы и медленные, но кроме шахмат у нас есть ещё куча задач, главная из которых жизнь)
И огромная нейросеть с кучей органов чувств, только разрешение глаза 140 мегапикселов.

Пока это вызывает эмоции, но со временем станет обыденностью. Уж не рассцвет это перед увяданием? Как бы такие достижения не уничтожили интерес людей к шахматам.

Я не специалист, но мне понятно, что веса устанавливает комп на эвристической основе, оптимизируя силу игры, как иначе. Речь о струтуре функции, как рассчитать позицию, какие факторы учитывать. Сдвоенные пешки, безопасность короля, контроль над центром, подсчет материала. У каждого фактора есть свой вес, он подгоняется. Я же написал "худо-бедно". Но структура функции выражает накопленное человеческое понимание.

Ну в чисто человеческих шахматах после 1...е5 играть на ничью гораздо проще, т.к. есть Русская и Берлин, которые проще запомнить, чем зубрить километровые дорожки челябы, которые утыкаются в 7-фигурные таблицы. А после 1.е4 с5 2.Kf3 Kc6 уже давно белые не лезут в челябинский, а играют 3.СB5.

Camon14, Поглядите финал WC29 на iccf (самый свежий из тех, где доступны партии), там Neto отсушил черными несколько партий в челябе без проблем, а одну еще и выиграл (после 3.Cb5). В принципе, из более ранних финалов WC я в свое время много анализировал партий из челябы, там даже где черные умудрялись проиграть в итоге, в анализе всегда находились соскоки на ничью. ЗЫ сам тоже поигрывал челябу на iccf, других площадках переписочных, во фристайлах разных, там железобетон за черных.

Я тоже не большой специалист, но практически уверен, что сами признаки определить значительно проще, чем их веса. Без всяких внешних знаний, просто играя сам с собой.
Часто программистам наоборот приходится выкидывать какое-нибудь "накопленное шахматное знание", потому что оно замедляет оценочную функцию и без его учета программа играет сильнее. Например в Фрице, когда он еще был Великой Прогой, был штраф за запертую фигуру. А потом он обрыбился и штраф исчез. Хотя не нужно быть гроссмейстером, чтобы понимать, что запертый слон, например, это плохо. Но проверка занимает столько времени, что скорость расчета вариантов слишком сильно падает. А AZ это не волнует, у него оценкой занимается TPU. И, кстати, несколько партий он выиграл за счет игры против плохой фигуры соперника (слон на b7, ферзь на h8).

Я думаю, если заменить оценочную функцию Stockfish на качественную нейросетевую, при этом оставив поиск как есть, можно получить качественный прирост. Да, глубина уменьшиться, но качество поиска улучшиться (алгоритм отсечений основан на оценки позиции, как-никак).

Сколько вариантов в секунду будет выдавать такой Сток на процессоре? Меньше тысячи? Это как взять мозг мыши и пересадить его муравью. Мышь может и умнее, но муравью от этого мало толку.

Jadn, может, и меньше тысячи, но при этом отсечения будут работать качественнее и оценивание позиции будет на совсем другом уровне. Процессоры развиваются и я думаю, что в будущем нейросети будут хорошо работать на них, т. к. это направление очень актуально. Сначала, думаю, можно сделать это в виде опции.

Научность - это возможность для всех и каждого самостоятельно убедиться в том, что говорит автор. Проверить его, подтвердить или опровергнуть. Ни с какими коммерческими тайнами и прочими секретами научность в её исконном смысле несовместима. В данном случае код как минимум должен быть отдан независимым людям на экспертизу, ну или не надо иначе изображать из себя учёных.

А статья в журнале ни о чём не говорит. Такого рода статьи часто бывают рекламой, замаскированной под науку. Рецензия часто оказывается вообще формальностью, сводится к правке запятых и на серьёзный фильтр не тянет.

—- добавлено: 10 дек 2017, опубликовано: 10 дек 2017 —-

Выложили рекламную, хвастливую и непроверяемую статью на архив, специально чтобы СМИ подняли шумиху. Так будет точнее.

Очевидно же - по причине открытости и бесплатности. Он есть у абсолютно любого желающего, кто захочет покопаться в партиях - чем и занимаются люди в данной ветке. У скольки процентов непрофессиональных шахматистов есть купленные Комодо и Гудини?

Он взорвет лихорадочный день
И сиянием обескуражит.
Элвис новые песни споет -
А то как же.

Статья на arxiv совершенно не соответсвует никаким даже самым низким научным стандартам. Единственное объяснение, что большие компании пытаются сидеть на двух стульях: скрывать детали от конкурентов, и делать вид, что все это серьезная наука. В этом смысле, например, финансовый сектор честнее, хотя бы не публикуют пародии на научные статьи.

https://ru.wikipedia.org/wiki/ArXiv.org
arXiv.org (произносится [архи́в]) — крупнейший бесплатный архив электронных публикаций научных статей и их препринтов по физике, математике, астрономии, информатике и биологии.
Статьи, выкладываемые авторами в архив, не проходят процедуру научного рецензирования (и в связи с этим, строго говоря, не считаются научными публикациями).
В настоящее время архив спонсируется и обслуживается Корнеллским университетом США, частью чьей библиотеки и считается.

Какая там эссенция шахматной мысли. Стокфиш это просто калькулятор с тупым перебором ходов. Уровень понимания шахмат там третий разряд в лучшем случае. Уже второразрядник + компьютер играет значительно лучше чем просто компьютер.

Все-таки вероятность локального минимума у функции большого числа переменных близка к нулю. Проблема не минимумах, а в том что почти гарантировано попадание на локально почти плоскую часть. Алгоритмы поиска минимума часто не могут уйти вниз с плоских частей, хотя статистически (с очень большой вероятностью) это можно сделать по нескольким направлениям.

Что за х-ня ребята? У меня ни сток на глубине 50, ни асмфиш на глубине 52 не показывают проигрыш (за черных) в позиции...

Кстати, автор Texel проводил эксперименты с Giraffe. Сперва он пересадил к нему оценочную функцию от Texel-я. Прога начала считать на 3 полухода дальше, но сильнее играть не стала.... Затем он создал версию Текселя, которая использует ОФ Жирафа. Получилось нечто на 250-300 пунктов более слабое.
Однако, он отметил, что, если бы было возможно сделать ОФ жирафа такой же быстрой, как и ОФ Текселя, то эта версия играла бы примерно на 100-120 эло сильнее, чем обычная версия Текселя.

И, между прочим, некоторые специфичные позиции этот гибрид оценивает даже лучше Стокфиша. Например вот эту:
8/5p1p/4p2k/N7/3Pn3/4PpPP/1r3P2/5RK1 b - - 0 37



С.Ю. писал:
... Реальная оценка - белые имеют серьезные проблемы. Примерно, на глазок - 0.6 +/- 0.2 То есть ближе к пешке в пользу черных, чем к равенству! И это несмотря на лишнюю пешку белых на доске.

Stockfish 8 64 BMI2(1CPU):

1...f6 2.Nc4 Rc2 3.Nb6 Kg5 4.Nd7 h5 5.Nf8 Kf5 6.g4+ hxg4 7.hxg4+ Kxg4 8.Nxe6 Rc8 9.Nf4 Rg8 10.Rd1 Kf5+ 11.Kf1 Rh8 12.Kg1 Rh1+ 13.Kxh1 Nxf2+ 14.Kg1 Nxd1 15.Nd5 Ke4 16.Nxf6+ Kxe3 17.Ng4+
= (-0.08) глубина: 49/70 00:13:30 1377098kN
1...f6 2.Nc4 Rc2 3.Nb6 Kg5 4.Nd7 h5 5.Nf8 Kf5 6.g4+ hxg4 7.hxg4+ Kxg4 8.Nxe6 Rc8 9.Nf4 Rg8 10.Rd1 Kf5+ 11.Kf1 Rh8 12.Kg1 Rh1+ 13.Kxh1 Nxf2+ 14.Kg1 Nxd1 15.Nd5 Ke4 16.Nxf6+ Kxe3 17.Ng4+
= (-0.08) глубина: 50/70 00:16:29 1694243kN
1...f6 2.Nc4 Rc2 3.Nb6 Kg5 4.Nd7 h5 5.Nf8 Kf5 6.g4+ hxg4 7.hxg4+ Kxg4 8.Nxe6 Rc8 9.Nf4 Rg8 10.Rd1 Kf5+ 11.Kf1 Rh8 12.Kg1 Rh1+ 13.Kxh1 Nxf2+ 14.Kg1 Nxd1 15.Nd5 Ke4 16.Nxf6+ Kxe3 17.Ng4+
= (-0.08) глубина: 51/70 00:19:14 1984398kN
1...f6 2.Nc4 Rc2 3.Nb6 Kg5 4.Nd7 h5 5.Nf8 Kf5 6.g4+ hxg4 7.hxg4+ Kxg4 8.Nxe6 Rc8 9.Nf4 Rg8 10.Rd1 Kf5+ 11.Kf1 Rh8 12.Kg1 Rh1+ 13.Kxh1 Nxf2+ 14.Kg1 Nxd1 15.Nd5 Ke4 16.Nxf6+ Kxe3 17.Ng4+
= (-0.08) глубина: 52/73 00:24:34 2529898kN

Texel + ОФ Giraffe (1CPU):

1...f6 2.Nc6 Ng5 3.Kh2 Kh5 4.Nd8 Rd2 5.Nc6 Ne4 6.Kg1 Kg5 7.Nd8 e5 8.Ne6+ Kf5 9.Ng7+ Kg6 10.Ne6 Kf7 11.Nc5 Nxc5 12.dxc5 Rc2 13.Ra1 Rxc5 14.Kh2 Kg6 15.g4 h5 16.Kg3 e4 17.Kf4
= (-0.04) глубина: 26 00:08:58 80615kN
1...f6 2.h4 Rc2 3.Nb7 Kg6 4.Nd8 Kf5 5.h5 Ng5 6.Kh2 Kg4 7.h6 Ra2
= (-0.19) глубина: 26 00:11:33 101861kN
1...f6 2.Nc6 Kg6 3.Nd8 Rb6 4.Rc1 h5 5.Rc2 Rb1+ 6.Kh2 Rf1 7.Nxe6 Nxf2 8.Nf4+ Kf5
і (-0.41) глубина: 26 00:14:54 129507kN

А есть версия Texel с ОФ от Giraffe в открытом доступе? Интересно протестировать на некоторых типах позиций.

Texel + ОФ Giraffe:
https://www.dropbox.com/sh/v16dye7ww33x7oe/AAAXmGY0phMkB7XlR-vaOxasa/test?dl=0&preview=texelGi.7z

Giraffe + ОФ Texel:
https://www.dropbox.com/sh/v16dye7ww33x7oe/AAAXmGY0phMkB7XlR-vaOxasa/test?dl=0&preview=giraffe_te.7z

Кстати, автор Giraffe - Matthew Lai от 26.01.16 писал на форуме Talkchess.com:
I am now an employee of Google DeepMind, and I felt that Giraffe is a bit too close for comfort to what I do at work. (Я теперь сотрудник Google DeepMind, и я чувствовал, что Жираф слишком близок к тому, что я делаю на работе.)

Stockfish начинает тоже понимать, что все хорошо у черных, но очень поздно:
8/5p1p/4p2k/N7/3Pn3/4PpPP/1r3P2/5RK1 b - - 0 37

Код:

info depth 53 seldepth 88 multipv 1 score cp 72 lowerbound nodes 10078969817 nps 8004684 hashfull 833 tbhits 0 time 1259134 pv f7f6