AlphaZero. Нейронная сеть играет в шахматы

Что сейчас и делается повсеместно и без всяких подобных возражений - при тестировании и составлении рейтингов, при проведении турниров, или любителями - дай-ка я протестирую на своем любимом наборе тестовых позиций на понимание, или посмотрю, как она анализирует мои партии, или дай-ка я еще раз просмотрю вариант к завтрашней партии на первенство мира.

—- добавлено: 13 дек 2017, опубликовано: 13 дек 2017 —-

Открытое письмо Google DeepMind одного из авторов Stockfish

Картина игры А0 прояснится когда все увидят игру двух А0 между собой , а лучше турнир между десятком таких программ

На днях АльфаЗеро выиграла Стокфиш значительно уступая ему в счете, но зато превосходя в понимании. Сейчас это самая популярная тема на форуме.

Комп это в первую очередь не движок, а базы и дебютная книга. Без него сейчас не будет качественной дебютной подготовки.

\АльфаЗеро выиграла Стокфиш? Ну и что нейросеть будет теперь с ним делать? Выкинет на свалку? Или продаст кому-нибудь?
Вы русский? Считаете себя образованным? Тогда почему применяете такие чудовищно безграмотные конструкции? Если это описка - искренне извиняюсь. Если Вы не native - тоже. Просто глаз режет\.
Sorry за оффтоп.
А кто сказал, что нейросеть превосходит Стокфиш в понимании? И что такое - это самое понимание - для железяки?
Смыслов как-то говорил, что с возрастом, когда ухудшились счетные способности - он хуже стал понимать позицию. То, что некоторые слабые шахматисты принимают за понимание - просто знание типовых позиций и приемов.
Для белковых понимание позиции - попытка представить и оценить возникающую через несколько ходов позицию. Человечишки после жалких 3-5 ходов вперед уже не видят ничего... Поэтому вынуждены оценивать позицию с точки зрения каких-то выдуманных ими же самими законов, (которые неверны частенько. И машина это убедительно показывает, обыгрывая людишек даже с форой. Машина - не заморачивается подобной ерундой - просто считает глубже, полностью перебирая варианты.
Вообще, мне кажется, с увеличением глубины расчета шахматных программ на высшем уровне такая вещь как "понимание", основанное на каких-то общих принципах и законах шахмат - уйдет на второй план и будет заменено глубочайшим (100 полуходов, например) расчетом.
Впрочем, на этот счет - пусть лучше выскажутся гроссы и супергроссы... Ну, или шахматные программисты.

Вот примерное объяснение

Альфа Зеро считает в 1000 раз меньше позиций чем Стокфиш и при этом играет сильнее. То есть шахматы Альфа Зеро понимает по крайней мере в 1000 раз лучше, чем Стокфиш.

Понимание - это оценка позиции с учетом дальнейших перспектив. Для белкового шахматиста полагаться исключительно на счет плохая идея.
Во-первых, велика вероятность ошибки. Особенно если это действие повторяется. Раз правильно посчитал, два посчитал, на третий ошибся..
Во-вторых, время. Подсознательное понимание намного быстрее (но больше вероятность ошибки естественно). Фактически это бессознательный расчет.
В-третьих, счет энергозатратен. Энергия ( как и время) шахматиста ограниченна во время партии. Это понимает любой игрок, участвовавший в турнирах. Игрок должен быть готов в важный момент партии посчитать варианты в сложной позиции. Но если он до этого истратил энергию и время там, где можно было быстро сыграть интуитивно, то у него не хватит ресурсов. Он ошибается и проигрывает.. После партии думает "как я мог так ошибиться?! До победы рукой было подать!". На самом деле он неправильно расходовал силы и время в партии. Это было главной ошибкой.
У движков даже с большой глубиной расчета есть "недостаток" - это заложенные человеком алгоритмы оценки позиции. Заканчивая расчет движок ориентируется на них.

Компьютерное железо интенсивно развивается. Вроде как уже на 60 полуходов могут считать? (Не суть важно, через несколько лет, вполне вероятно, будут считать глубже).
Я о том, что человечишки вынуждены придумывать себе "оценку позиции". Которая является компенсацией неумения далеко и точно рассчитать вариант. У программ - не так - они перебирают все возможные варианты. По сравнению с людишками, на несколько порядков чище, точнее. В пределах 5-10 ходов - наверняка. Возможные ошибки, опять же, заложены жидкоголовыми при создании программы.
60 полуходов - это 30 ходов. 100 полуходов - это 50 ходов вперед. Столько далеко не всякая партия между белковыми шахматными дебилами (по сравнению с компами, разумеется) продолжается...
Какие шахматные законы помогут предусмотреть развитие шахматной партии на 50 ходов вперед? Зачем при такой глубине "позиционное понимание" (кроме базовых принципов, забитых изначально в алгоритм и которые никому уже не интересно отлаживать)?

Уже сейчас это мало помогает двуногим шахматным недоразумениям играть с программами. Даже с форой проигрывают...

Этим вы и занимаетесь, смешивая столь разные понятия как понимание и счет.

Очень похоже на лозунг.
Вот вам простой пример. Есть два движка. Играют в одну силу. Один из них рассматривает в 1000 раз меньше узлов в секунду.
Вы утверждаете что он лучше понимает шахматы, но играет то он при это не сильнее, значит понимает он лучше, а что-то другое у него "хуже"? Что?
Тактика? Есть тактические тесты, и что-то никогда особо слабее в тактике медленные движки не были. То есть вопрос остается открытым - если у медленных движков лучше понимание, то что у них "хуже", раз играют они не сильнее?
А ничего у них нет "хуже" в компенсацию "понимания". Нет ни малейшей разницы в "понимании" шахмат у быстрых и медленных движков. Разницу в "понимании" показывает только разницы в силе игры. Все остальное предрассудки.

Счет в матче вроде был 61/39, разница в силе 80 пунктов.

Давайте такой пример рассмотрим. Возьмем Стокфиш с глубиной порядка 14 полуходов и белкового гроссмейстера. Сила игры будет сопоставима. При этом счет вариантов несопоставим, Стокфиш считает сотни тысяч позиций, а гроссмейстер десятки позиций. Так за счет чего гроссмейстер играет на равных?

За счет того что гроссмейстер совершает больше ошибок, проигрывает в "мелкой тактике". И это легко показать на конкретных примерах из конкретных партий. Это не потому что у них разница в скорости просмотра позиций, а потому что "вот так устроены движки".

Теперь вы утверждаете что разница в понимании между Альфой и Стоком больше, чем разница в показанном результате. За счет того что Стокфиш лучше считает. В каких партиях он это продемонстрировал? Покажите пример партий, из которых видно что Стокфиш сильнее в счете. Или Стокфиш не сильнее в счете, и все-таки разница в понимании равна разнице в силе?

А как она при таком подходе вообще считает тактику? Здесь одной только статистикой не обойдешься. Собрал тысячу позиций, которые по статистике были выиграны, а потом пришел какой-нибудь SF и увидел что там можно фигуру выиграть в три хода.

1. Тактику видит нейросеть. То есть то время, которое казалось бы тратится только на оценку позиции, на самом деле тратится и на тактику, на счет. То есть нейросеть работает как некий аналог счета + оценка.
2. Как ни странно, mcts несмотря на свою "странность" - тактику видит.

добавлено
Криво сформулировал. Если в позиции есть выигрывающая или проигрывающая тактика, то нейросеть скорректирует на неё оценку.

Это совсем не то. АльфаЗеро не варьировала ведь варианты, а прицельно била в одну и ту же слабую точку. Например, раз за разом выходила на французскую с 3. Nc3 Nf6 4. e5 Nfd7. Попробуйте, устройте матч двух примерно равноценных сильных движков, например Стокфиша и Гудини, где все партии начинаются с этой позиции. Дальше смотрим на результат и определяем, сколько пунктов к рейтингу белых приплюсовывает такой выбор дебюта.

Каким образом он ее видит? Я так понимаю, что mcts видит не тактику, а вероятность. Это примерно то же самое, как если бы мы сами играя с движком имели под рукой дебютную книгу. Пока идем по варианту - у нас есть гарантия что мы не проиграем партию и не зевнем материала. Но когда он закончится то, чтобы таким же способом играть дальше, требуется просчитать квадратно-гнездовым методом и до самого мата такое количество позиций сколько нет нейронов во всей А0.

mcts наигрывает партии до конца, при этом ходы делаются не случайным образом, а согласно собранной статистике и ОФ. Если вдруг в позиции выигрывается материал, то ход, выигрывающий материал будет практически всегда выигрывать, соответственно наберет хорошую статистику, и будет всегда делаться из этой позиции.
Программы на mcts (например в ГО, Symple), даже совсем без ОФ (UCT + RAVE + остальные чисто переборные эвристики) - видят тактику. А с ОФ видят её не хуже чем программы на альфа-бете.

Каспаров говорил о человечьих подсказках проге. Смысл был в том, что он вместо своих фирменных острых сицилианок стал играть в том матче скучную антикомпьютерную восьмипешечную игру. Расчёт был на то, что Deep Blue, как и все проги того времени, начнёт там тупить. И вдруг Deep Blue бодро начал выдавать крепкие гроссмейстерские планы в тех позах. Возникли подозрения в человеческих подсказках, но проконтролировать было невозможно: матч проходил на вражьей территории при тотальном контроле IBM. А в ответ на предложение проверить после матча, в самом ли деле Deep Blue исполнит сделанные ею ходы в условиях внешнего контроля, было отвергнуто IBM, которая быстренько уничтожила Deep Blue как главную улику.

По-моему совершенно очевидно, что дипмайнд высказывал именно второе про алгоритс. Если они хотели бы утверждать первое - это был бы громкий матч с вызовом, рекламой, и прочими атрибутами.
А не скромная аж ОДНА статья в научном хранилище, которое предназначено для специалистов по компьютерному обучению, а не для широкой публики (и глава дипмайнд сам удивляется шумихе)

Честно говоря ИМХО нет смысла спорить про силу, так как mcts и нейронные сети спокойно масштабируются, ну и понятно что и алгоритмически есть куда A0 развивать. Если первая попытка в шахматы играет сравнимо со Стоком - то скоро будет играть несравнимо сильнее.
У AlphaGo Zero рейтинг 5185.