AlphaZero. Нейронная сеть играет в шахматы

Кстати я как то пришёл к выводу, что сознание и все наши умения, обучение что мы считаем разумом это лишь вершина айсберга, на самом деле всё намного сложнее, даже клетка устроена так что нам никогда не понять до конца, наше сознание заперто где то в мозгу что бы выполнять простейшие операции по поддержанию нас, а основные алгоритмы и операции от всего что идёт от органов чувств, намного сложнее, мы получаем обработанную картинку всего, основное выполняется на недосягаемом нам уровне.

sovaz1997, да какая разница?
Комсюк же сказал, что Крф8 тоже проигрывает!
А Комсюку я верю

это интуиция) квантовая причём

Нестор, тоже проигрывает, но не так быстро. Но другой контроль дал бы не совершить ошибку до этого хода.

Не масштабируются нормально шахматы, даже когда идёт речь о 4 8 ядрах, там потери приличные, думаю столько затрат было что бы управлять ядрами, и так мало хеша, что наверно 16 ядер при нормальном хеше играли бы быстрее, хорошо бы гугл написал сколько позиций в секунду считал стокфиш что бы сравнить.
Но я думаю это была небольшая первая статейка, подождём усилят прогу и будет настоящий открытый матч, будем следить в прямом эфире, ещё и с комментами Шипова)

sovaz1997, возможно, с этим я не спорю.
Суть спора с "красным геликоптером" была не в этом ...

Ну и каким же должен быть, по-Вашему, контроль, чтобы SF не тупил без дебютной библиотеки и/или не получал жбан с раздачи?

zeroalphazero, в данном случае, 60 минут на 60 ходов.

Ну а стокфишу дали хэш "для бедных".

А СЮ в обзоре сказал, что Крф8 отскакивает на ничью. И я как-то ему больше доверяю, нежели Комсюку, при всем уважении.

Время на партию?
https://www.chess.com/news/view/alphazero-reactions-from-top-gms-stockfish-author
Гуглоперевод:

—- добавлено: 15 дек 2017 —-

Какие аппаратные ресурсы Альфа использовала для обучения:
AlphaZero defeated Stockfish after just 4 hours of self-play, using 5,000 first generation TPUs to generate the games and 64 second generation TPUs to train the neural networks
https://en.wikipedia.org/wiki/AlphaZero

При Kf8 там около 1.4 SF даёт, вроде. Надо проверять не по оценке, а игрой, т. к. возможно там теоретическая ничья, если С. Ю. Так говорит.

redhelicopter, СЮ — это живой человеческий гросс, а Комсюк — матёрый адвансер!
"Кто более матери-истории ценен?"©

Интересно было бы просто посмотреть на результаты с разными контролями. Минута на ход - это, мягко говоря, специфический контроль, тайм-менеджмент - это все-таки крайне важный фактор, влияющий на эло в противостоянии программ. Если все время форсировать ход по истечении минуты - одним только этим вы отнимаете программе добрую сотню эло.

NS, интересно, можно ли сравнить условно эти "5000 TPU" Альфы с количеством
нейронов или нейронных связей человеческого мозга? В смысле мощности нейронной сети.

Полугаевским-Романишиным и пр. 60-ти лет не хватило, а SF за 60 минут научится хотя бы в Новоиндийской не тупить?
Хотя... комиксы, говорят, — тоже литература.
Пока же создается впечатление, что публике предоставили любопытный, шедеврально-талантливо созданный комикс из разряда How to beat Stockfish.

If consciousness arises because of some critical mass of interactions, then it may be possible. But we really do not understand what consciousness actually is, so it is difficult to say.

В рассматриваемом случае достоверно известно, что Rf8 объективно более плохой ход, чем Кf8. Можете запустить анализ хоть на сутки, добить до нереальной глубины и убедиться в этом, что называется, воочию.
Поэтому, ваш довод как раз только усиливает сомнения. Если на моем компе ход найдет за 20 секунд, почему на сильном железе он не был найден за 0,02 секунды?

redhelicopter, ну может хватит уже?
А то я ведь не гроссмейстер ИКЧФ, и моё терпение может лопнуть ...

Он (ход Крф8) и был очень быстро найден, как ход 1-ой, 2-ой или 3-ей линии.
Но достигнув за минуту определённой глубины (не знаю какой), конкретно эта прога на 64-ёх ядрах, которой ни у Вас, ни у меня, ни у кого-либо ещё здесь — нет(!), сочла, что уже все ходы имеют плохую оценку для чёрных и сделала ход Лф8, который также как и Крф8, проигрывает!

Ну как ещё Вам это надо объяснить, чтобы дошло? Разноцветными шрифтами написать, что ли?

Нестор, на ночь ставлю, чтобы опровергнуть ваше заявление)

Да что мне будет-то с вашего лопнувшего терпения? Максимум легкое удивление, от чрезмерной эмоциональности реакций некоторых оппонентов.

То есть вы считаете, если программа оценивает один ход на +2 а другой на +6 в пользу оппонента, она может подумать "да пропади все пропадом" и лупануть более слабый ход? ;D

redhelicopter, sovaz1997, моё терпение лопнуло!

Рекомендую вам обоим для чистоты эксперимента купить в складчину компьютер на 64-ёх ядрах, установить на него необходимую версию Сток Фиша, и ещё раз всё хорошенько проверить ...
О результатах доложите!

Нестор, на 50 глубине уже меньше 1 перевес у белых при Kg8. Не думаю, что что-то дальше изменится. Для меня, во всяком случае, все очевидно.

Не удивлюсь, если ничью покажет))

Вот меня это тоже здорово смущает. Может дело действительно в маленьком кеше, но у меня и сам Стокфиш, и Комодо и Гудини не идут на продолжения случившиеся в матче, считая их не самыми сильными ходами, сколько времени на анализ не поставь. Так что не надо больше мантр про 64 ядра, с ихними настройками он похоже и на 1 ядре играл бы в такую же силу.

Да, Kf8 - лучший ход с оценкой +1.70 и эта оценка держалась с 54 по 73 глубину:

Код:

info depth 73 seldepth 93 multipv 1 score cp -170 nodes 317736802486 nps 11914797 hashfull 999 tbhits 306519321 time 26667410 pv g8f8 h4f4 h8g8 f4c7 c5c4 c7c4 e8d8 g3g4 f8e8 c4c3 g8f8 g4g5 e7e6 f6f3 e8e7 c3d4 e7e8 f3d3 e6e1 g2g3 e1g1 g3h2 g1e1 d4c3 e1e4 h2g2 a7a6 b3d5 e4e2 g2f1 e2e6 d5e6 f7e6 d3f3 f8g8 c3f6 d8c8 f6d4 c8d8 d4d6 d8a8 f1g2 g8h8 d6b4 a8d8 b4f4 h8g8 f4d6 d8a8 d6c7 g8h8 f3f6 h8g8 a2a4 g8h8 c7d6 h8g8 a4a5 g8h8 d6c5 a8d8 c5c7 d8a8 c7d6 h8g8 f6f4 g8h8 g2g3 a8c8 f4f6 h8g8 f6f3 c8a8 d6b4 g8h8 f3f6 h8g8 f6f4 a8d8 b4d6 g8h8 f4f6 d8c8 d6b4 c8d8 f6f4 e6e5

Почему в партии был сделан Rf8? Не из-за мощного процессора, не из-за старой версии Stockfish (тоже проверял), а, скорее всего, из-за коллизий, связянных с маленьким размером хеша и фиксированным контролем времени. Я уже показывал, что при Rg8 оценка падает до +9.

P. S. в этот раз, кстати, старая версия подвела и не сделала ход Kf8. Новая версия быстро находит этот ход. Так что, и в этом тоже есть проблема. Все-таки, 45 пунктов ЭЛО.

Можно
https://geektimes.ru/sandbox/3436/

NS, спасибо, хорошая ссылка!
Позволю себе процитировать основные выводы:

Играл бы SF Dev, партия могла бы закончиться вничью:

Ну а после хода в партии все очень быстро заканчивается:

Да, нейронная сеть одна. Когда Альфа Зеро играет в го, то на выходе нейронка отдает число от -1 до 1, показывающее вероятность выиграть или проиграть, и матрицу 19х19, показывающую насколько вероятен каждый из ходов в данной позиции.

https://habrahabr.ru/post/343590/

Вообще интересно в каком виде в шахматах вход и выход задается. Ведь ход в шахматах значительно сложнее, чем в го. Неочевидно как ходы матрицами задавать.

Это описано в препринте.

Ход (вывод) задаётся в виде:
- координаты фигуры, которая ходит (64 варианта)
- и направления хода. Это 73 варианта: 8 направлений хода коня, 56 возможностей хода ферзя (8 направлений и количество клеток от 1 до 7, ими же закодированы ходы остальных фигур, включая рокировки, ходы пешек, и превращения пешек в ферзей), и 9 возможностей превращения пешек не в ферзя (три варианта хода: [прямо, со взятием влево или вправо], и три фигуры превращения: [в коня, слона или ладью])
Итого 64*73 = 4672 варианта.

Нейронная сеть выдаёт коэффициенты для всех 4672 вариантов. Из всех вариантов выбираются ходы, соответствующие правилам, и softmax'ом эти коэффициенты приводятся к вероятностям (с суммой 1 по валидным ходам).

Ввод (состояние доски) задаётся так:
- "Битовые маски" для каждого из типов фигур каждого из игроков. (8*8*6*2 булевых значений)
- Количество повторений этого состояния доски.
(эти два пункта передаются о последних 8 полуходах! То есть получается, что повторения позиции если они случились раньше чем через 4 хода назад, alphazero может не заметить? Эта же информация нужна например для того чтоб понять, возможно ли взятие на проходе.)

- цвет игрока (но в любом случае доска для чёрных "разворачивается" чтоб он видел её из глаз игрока)
- текущий номер хода
- 4 бита о том разрешены ли рокировки
- количество ходов без взятий и ходов пешек

Вывод ниачем на самом деле. Точно так же можно сказать, что если монетку подкинуть 20 раз, она может 20 раз подряд выпасть решкой. Однако если вы станете свидетелем подобного, вы начнете подозревать, что что-то не так
Пример с ладьей-королем - лишь один из многих случаев в этих 10 партиях, когда Стокфиш выбирал слабый ход. Просто он слишком яркий и очевидный, поэтому на нем многие фокусируются. То есть, можно сделать вывод именно о недостаточной силе игры.

А помолиться на 64 ядра не нужно перед этим?
Оценка одной и той же проги на домашнем компе на глубине 70 ничем не отличается от оценки на 64 ядрах на той же глубине. Разница исключительно во времени, за которое достигается эта глубина.

redhelicopter,
https://www.youtube.com/watch?v=bkh8otlJH0I