AlphaZero. Нейронная сеть играет в шахматы

Тема в разделе "Машинное отделение", создана пользователем grizly, 6 дек 2017.

  1. просроченый_кмс Старожил

    • Участник
    • Старожил
    Рег.:
    15.02.2010
    Сообщения:
    986
    Симпатии:
    82
    Репутация:
    0
    Оффлайн
    Кстати я как то пришёл к выводу, что сознание и все наши умения, обучение что мы считаем разумом это лишь вершина айсберга, на самом деле всё намного сложнее, даже клетка устроена так что нам никогда не понять до конца, наше сознание заперто где то в мозгу что бы выполнять простейшие операции по поддержанию нас, а основные алгоритмы и операции от всего что идёт от органов чувств, намного сложнее, мы получаем обработанную картинку всего, основное выполняется на недосягаемом нам уровне.
    Нестор, WinPooh и sovaz1997 нравится это.
  2. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    sovaz1997, да какая разница?
    Комсюк же сказал, что Крф8 тоже проигрывает!
    А Комсюку я верю :)
  3. просроченый_кмс Старожил

    • Участник
    • Старожил
    Рег.:
    15.02.2010
    Сообщения:
    986
    Симпатии:
    82
    Репутация:
    0
    Оффлайн
    это интуиция) квантовая причём :)
  4. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Нестор, тоже проигрывает, но не так быстро. Но другой контроль дал бы не совершить ошибку до этого хода.
  5. просроченый_кмс Старожил

    • Участник
    • Старожил
    Рег.:
    15.02.2010
    Сообщения:
    986
    Симпатии:
    82
    Репутация:
    0
    Оффлайн
    Не масштабируются нормально шахматы, даже когда идёт речь о 4 8 ядрах, там потери приличные, думаю столько затрат было что бы управлять ядрами, и так мало хеша, что наверно 16 ядер при нормальном хеше играли бы быстрее, хорошо бы гугл написал сколько позиций в секунду считал стокфиш что бы сравнить.
    Но я думаю это была небольшая первая статейка, подождём усилят прогу и будет настоящий открытый матч, будем следить в прямом эфире, ещё и с комментами Шипова)
  6. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    sovaz1997, возможно, с этим я не спорю.
    Суть спора с "красным геликоптером" была не в этом ...
  7. zeroalphazero Учаcтник

    • Участник
    Рег.:
    14.12.2017
    Сообщения:
    133
    Симпатии:
    69
    Репутация:
    4
    Оффлайн
    Ну и каким же должен быть, по-Вашему, контроль, чтобы SF не тупил без дебютной библиотеки и/или не получал жбан с раздачи?
  8. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    zeroalphazero, в данном случае, 60 минут на 60 ходов.
  9. redhelicopter Учаcтник

    • Участник
    Рег.:
    10.11.2014
    Сообщения:
    264
    Симпатии:
    1.183
    Репутация:
    19
    Оффлайн
    Ну а стокфишу дали хэш "для бедных".


    А СЮ в обзоре сказал, что Крф8 отскакивает на ничью. И я как-то ему больше доверяю, нежели Комсюку, при всем уважении.
    sovaz1997 нравится это.
  10. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Время на партию?
    https://www.chess.com/news/view/alphazero-reactions-from-top-gms-stockfish-author
    Гуглоперевод:
    —- добавлено: 15 дек 2017 —-
    Какие аппаратные ресурсы Альфа использовала для обучения:
    AlphaZero defeated Stockfish after just 4 hours of self-play, using 5,000 first generation TPUs to generate the games and 64 second generation TPUs to train the neural networks
    https://en.wikipedia.org/wiki/AlphaZero
  11. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    При Kf8 там около 1.4 SF даёт, вроде. Надо проверять не по оценке, а игрой, т. к. возможно там теоретическая ничья, если С. Ю. Так говорит.
  12. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    redhelicopter, СЮ — это живой человеческий гросс, а Комсюк — матёрый адвансер!
    "Кто более матери-истории ценен?"© ;)
  13. redhelicopter Учаcтник

    • Участник
    Рег.:
    10.11.2014
    Сообщения:
    264
    Симпатии:
    1.183
    Репутация:
    19
    Оффлайн
    Интересно было бы просто посмотреть на результаты с разными контролями. Минута на ход - это, мягко говоря, специфический контроль, тайм-менеджмент - это все-таки крайне важный фактор, влияющий на эло в противостоянии программ. Если все время форсировать ход по истечении минуты - одним только этим вы отнимаете программе добрую сотню эло.
  14. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    NS, интересно, можно ли сравнить условно эти "5000 TPU" Альфы с количеством
    нейронов или нейронных связей человеческого мозга? В смысле мощности нейронной сети.
  15. zeroalphazero Учаcтник

    • Участник
    Рег.:
    14.12.2017
    Сообщения:
    133
    Симпатии:
    69
    Репутация:
    4
    Оффлайн
    Полугаевским-Романишиным и пр. 60-ти лет не хватило, а SF за 60 минут научится хотя бы в Новоиндийской не тупить?:grabli:
    Хотя... комиксы, говорят, — тоже литература.
    Пока же создается впечатление, что публике предоставили любопытный, шедеврально-талантливо созданный комикс из разряда How to beat Stockfish.
    If consciousness arises because of some critical mass of interactions, then it may be possible. But we really do not understand what consciousness actually is, so it is difficult to say.
  16. Challenger Spy Технический специалист

    • Команда форума
    Рег.:
    28.01.2011
    Сообщения:
    4.492
    Симпатии:
    2.573
    Репутация:
    221
    Оффлайн
    Эх, этой бы выдержки да на другие случаи, когда нармода ...эээ..."провоцируют":oops:
  17. redhelicopter Учаcтник

    • Участник
    Рег.:
    10.11.2014
    Сообщения:
    264
    Симпатии:
    1.183
    Репутация:
    19
    Оффлайн
    В рассматриваемом случае достоверно известно, что Rf8 объективно более плохой ход, чем Кf8. Можете запустить анализ хоть на сутки, добить до нереальной глубины и убедиться в этом, что называется, воочию.
    Поэтому, ваш довод как раз только усиливает сомнения. Если на моем компе ход найдет за 20 секунд, почему на сильном железе он не был найден за 0,02 секунды?
  18. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    redhelicopter, ну может хватит уже?
    А то я ведь не гроссмейстер ИКЧФ, и моё терпение может лопнуть ...

    Он (ход Крф8) и был очень быстро найден, как ход 1-ой, 2-ой или 3-ей линии.
    Но достигнув за минуту определённой глубины (не знаю какой), конкретно эта прога на 64-ёх ядрах, которой ни у Вас, ни у меня, ни у кого-либо ещё здесь — нет(!), сочла, что уже все ходы имеют плохую оценку для чёрных и сделала ход Лф8, который также как и Крф8, проигрывает!

    Ну как ещё Вам это надо объяснить, чтобы дошло? Разноцветными шрифтами написать, что ли?
    N1mTzo нравится это.
  19. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Нестор, на ночь ставлю, чтобы опровергнуть ваше заявление)
    Нестор нравится это.
  20. redhelicopter Учаcтник

    • Участник
    Рег.:
    10.11.2014
    Сообщения:
    264
    Симпатии:
    1.183
    Репутация:
    19
    Оффлайн
    Да что мне будет-то с вашего лопнувшего терпения? Максимум легкое удивление, от чрезмерной эмоциональности реакций некоторых оппонентов.

    То есть вы считаете, если программа оценивает один ход на +2 а другой на +6 в пользу оппонента, она может подумать "да пропади все пропадом" и лупануть более слабый ход? ;D
  21. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    redhelicopter, sovaz1997, моё терпение лопнуло!

    Рекомендую вам обоим для чистоты эксперимента купить в складчину компьютер на 64-ёх ядрах, установить на него необходимую версию Сток Фиша, и ещё раз всё хорошенько проверить ...
    О результатах доложите!
  22. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Нестор, на 50 глубине уже меньше 1 перевес у белых при Kg8. Не думаю, что что-то дальше изменится. Для меня, во всяком случае, все очевидно.

    Не удивлюсь, если ничью покажет))
  23. ШахматыЭтоДиагноз Учаcтник

    • Участник
    Рег.:
    31.03.2017
    Сообщения:
    2.034
    Симпатии:
    2.585
    Репутация:
    135
    Оффлайн
    Вот меня это тоже здорово смущает. Может дело действительно в маленьком кеше, но у меня и сам Стокфиш, и Комодо и Гудини не идут на продолжения случившиеся в матче, считая их не самыми сильными ходами, сколько времени на анализ не поставь. Так что не надо больше мантр про 64 ядра, с ихними настройками он похоже и на 1 ядре играл бы в такую же силу.
    sovaz1997 нравится это.
  24. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.887
    Симпатии:
    17.387
    Репутация:
    1.070
    Нарушения:
    15
    Оффлайн
    Это сказал Фрукт http://kasparovchess.crestbook.com/threads/7644/page-24#post-770504
    А я ему верю :)
    —- добавлено: 15 дек 2017, опубликовано: 15 дек 2017 —-
    Ключевой момент!
    Определитесь с темой спора, а то тут все спорят о разном... и каждый о своём
    1. Сделан ли Стокфишем ход Лf8?
    2. Даёт ли Крf8 ничью?
    Это разные вопросы... НЕ МЕШАЙТЕ ИХ В КУЧУ

    З.Ы. а Хеликоптер пусть прочтёт всю ветку от корки до корки
    А то он думает, что его идея с ослабленным Стокфишем тут новая, прямо откровение
    Раскрыл нам глаза!
    sovaz1997 и Нестор нравится это.
  25. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.887
    Симпатии:
    17.387
    Репутация:
    1.070
    Нарушения:
    15
    Оффлайн
    кавычки лишние
  26. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Да, Kf8 - лучший ход с оценкой +1.70 и эта оценка держалась с 54 по 73 глубину:
    Код:
    info depth 73 seldepth 93 multipv 1 score cp -170 nodes 317736802486 nps 11914797 hashfull 999 tbhits 306519321 time 26667410 pv g8f8 h4f4 h8g8 f4c7 c5c4 c7c4 e8d8 g3g4 f8e8 c4c3 g8f8 g4g5 e7e6 f6f3 e8e7 c3d4 e7e8 f3d3 e6e1 g2g3 e1g1 g3h2 g1e1 d4c3 e1e4 h2g2 a7a6 b3d5 e4e2 g2f1 e2e6 d5e6 f7e6 d3f3 f8g8 c3f6 d8c8 f6d4 c8d8 d4d6 d8a8 f1g2 g8h8 d6b4 a8d8 b4f4 h8g8 f4d6 d8a8 d6c7 g8h8 f3f6 h8g8 a2a4 g8h8 c7d6 h8g8 a4a5 g8h8 d6c5 a8d8 c5c7 d8a8 c7d6 h8g8 f6f4 g8h8 g2g3 a8c8 f4f6 h8g8 f6f3 c8a8 d6b4 g8h8 f3f6 h8g8 f6f4 a8d8 b4d6 g8h8 f4f6 d8c8 d6b4 c8d8 f6f4 e6e5
    Почему в партии был сделан Rf8? Не из-за мощного процессора, не из-за старой версии Stockfish (тоже проверял), а, скорее всего, из-за коллизий, связянных с маленьким размером хеша и фиксированным контролем времени. Я уже показывал, что при Rg8 оценка падает до +9.

    P. S. в этот раз, кстати, старая версия подвела и не сделала ход Kf8. Новая версия быстро находит этот ход. Так что, и в этом тоже есть проблема. Все-таки, 45 пунктов ЭЛО.
  27. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.887
    Симпатии:
    17.387
    Репутация:
    1.070
    Нарушения:
    15
    Оффлайн
    там атэц стоит
    —- добавлено: 15 дек 2017, опубликовано: 15 дек 2017 —-
    А я уже давал Хеликоптеру две ссылки, вот третья http://kasparovchess.crestbook.com/threads/7644/page-25#post-770529
    Глубина ещё маленькая, но если Сток "зациклится", то он может показать это на любой глубине, не увидев ответ Фf4
    Причём если отступить ход назад (не вперёд, подсказывая ему!) а потом вернуться, то он может найти очень быстро
    А может и не найти :)

    Отсюда вывод - ход был сделан Стокфишем 8

    А здесь вывод - у чёрных проиграно по движку
    Впрочем, на ночь можно было не оставлять, Fruit уже дал заключение
    sovaz1997 и Нестор нравится это.
  28. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Можно
    https://geektimes.ru/sandbox/3436/
    N1mTzo, Gridnev и Нестор нравится это.
  29. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
    NS, спасибо, хорошая ссылка!
    Позволю себе процитировать основные выводы:
    Gridnev и Комсюк нравится это.
  30. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Играл бы SF Dev, партия могла бы закончиться вничью:



    Ну а после хода в партии все очень быстро заканчивается:

  31. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.308
    Симпатии:
    553
    Репутация:
    15
    Оффлайн
    Да, нейронная сеть одна. Когда Альфа Зеро играет в го, то на выходе нейронка отдает число от -1 до 1, показывающее вероятность выиграть или проиграть, и матрицу 19х19, показывающую насколько вероятен каждый из ходов в данной позиции.

    https://habrahabr.ru/post/343590/

    Вообще интересно в каком виде в шахматах вход и выход задается. Ведь ход в шахматах значительно сложнее, чем в го. Неочевидно как ходы матрицами задавать.
  32. crem Учаcтник

    • Участник
    Рег.:
    24.11.2016
    Сообщения:
    140
    Симпатии:
    203
    Репутация:
    14
    Оффлайн
    Это описано в препринте.

    Ход (вывод) задаётся в виде:
    - координаты фигуры, которая ходит (64 варианта)
    - и направления хода. Это 73 варианта: 8 направлений хода коня, 56 возможностей хода ферзя (8 направлений и количество клеток от 1 до 7, ими же закодированы ходы остальных фигур, включая рокировки, ходы пешек, и превращения пешек в ферзей), и 9 возможностей превращения пешек не в ферзя (три варианта хода: [прямо, со взятием влево или вправо], и три фигуры превращения: [в коня, слона или ладью])
    Итого 64*73 = 4672 варианта.

    Нейронная сеть выдаёт коэффициенты для всех 4672 вариантов. Из всех вариантов выбираются ходы, соответствующие правилам, и softmax'ом эти коэффициенты приводятся к вероятностям (с суммой 1 по валидным ходам).

    Ввод (состояние доски) задаётся так:
    - "Битовые маски" для каждого из типов фигур каждого из игроков. (8*8*6*2 булевых значений)
    - Количество повторений этого состояния доски.
    (эти два пункта передаются о последних 8 полуходах! То есть получается, что повторения позиции если они случились раньше чем через 4 хода назад, alphazero может не заметить? Эта же информация нужна например для того чтоб понять, возможно ли взятие на проходе.)

    - цвет игрока (но в любом случае доска для чёрных "разворачивается" чтоб он видел её из глаз игрока)
    - текущий номер хода
    - 4 бита о том разрешены ли рокировки
    - количество ходов без взятий и ходов пешек
    Alhimik88 и Undying нравится это.
  33. redhelicopter Учаcтник

    • Участник
    Рег.:
    10.11.2014
    Сообщения:
    264
    Симпатии:
    1.183
    Репутация:
    19
    Оффлайн
    Вывод ниачем на самом деле. Точно так же можно сказать, что если монетку подкинуть 20 раз, она может 20 раз подряд выпасть решкой. Однако если вы станете свидетелем подобного, вы начнете подозревать, что что-то не так :)
    Пример с ладьей-королем - лишь один из многих случаев в этих 10 партиях, когда Стокфиш выбирал слабый ход. Просто он слишком яркий и очевидный, поэтому на нем многие фокусируются. То есть, можно сделать вывод именно о недостаточной силе игры.

    А помолиться на 64 ядра не нужно перед этим?
    Оценка одной и той же проги на домашнем компе на глубине 70 ничем не отличается от оценки на 64 ядрах на той же глубине. Разница исключительно во времени, за которое достигается эта глубина.
    sovaz1997 нравится это.
  34. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.04.2006
    Сообщения:
    2.955
    Симпатии:
    3.310
    Репутация:
    331
    Адрес:
    Москва
    Оффлайн
  35. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    14.887
    Симпатии:
    17.387
    Репутация:
    1.070
    Нарушения:
    15
    Оффлайн
    Ниачом твой вывод по показаниям своего компа

    я 13 чёрных подряд на рулетке видел, не сильно удивился :)
    А здесь трое юзеров написали, что у них это произошло, причём один из них поменял точку зрения, убедившись, что с таблицами было Крф8, а без таблиц Лф8
    А ты продолжай подозревать
    sovaz1997 и Undying нравится это.

Поделиться этой страницей