AlphaZero. Нейронная сеть играет в шахматы

Тема в разделе "Машинное отделение", создана пользователем grizly, 6 дек 2017.

  1. nn Учаcтник

    • Участник
    Рег.:
    25.03.2007
    Сообщения:
    662
    Симпатии:
    1.223
    Репутация:
    83
    Оффлайн
    Комсюк нравится это.
  2. redhelicopter Учаcтник

    • Участник
    Рег.:
    10.11.2014
    Сообщения:
    135
    Симпатии:
    76
    Репутация:
    3
    Оффлайн
    Что, правда А0 не видит выигрыш с Bh4 в 6-й партии? Ну рановато еще, значит, праздновать триумф нейросетей в шахматах...
  3. Mustitz Заслуженный

    • Заслуженный
    • Участник
    Рег.:
    30.09.2006
    Сообщения:
    2.847
    Симпатии:
    309
    Репутация:
    21
    Адрес:
    Киев
    Онлайн
    Ой, там десять нейросетей можно записать на флешку
    Комсюк нравится это.
  4. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    12.101
    Симпатии:
    11.967
    Репутация:
    773
    Нарушения:
    15
    Оффлайн
    Что она там видит за минуту, неизвестно, но в комментариях об Сh4 ни гу-гу
    Последние данные очков репутации:
    Semion13: 1 (За ничью К-К! :)) 27 ноя 2018
  5. nn Учаcтник

    • Участник
    Рег.:
    25.03.2007
    Сообщения:
    662
    Симпатии:
    1.223
    Репутация:
    83
    Оффлайн
    Видимо, весьма похоже на Лилу, в эндшпиле не очень играет. Здесь есть еще несколько позиций со сравнением со Стокфиш.

    Но они еще продолжают работать. Наверно, будет новая версия и статья. Думаю, сегодняшняя Стокфиш даже в условиях того матча А0-СФ8 уже на уровне той А0, так что интересно, что они достигнут. И будет ли тестирование теперь при нормальных условиях.

    Вот интервью Хассабиса
    Комсюк нравится это.
  6. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    411
    Симпатии:
    54
    Репутация:
    3
    Оффлайн
    Это будет очень интересно. Я действительно верб, что DeepMind способны в честных условиях победить последнюю версию SFю Просто тогда у них такой цели не было. Сейчас же у них был еще один год, за который они могли не только улучшить сеть, но и придумать что-то еще, возможно. AB-движки далеко не идеальны и они слабы на длинные последовательности тихих ходов. На самом деле, все AB-движки имеют с этим проблемы (тихие ходы и стратегия). И нейронные сети могут решить и уже успешно решают эти проблемы.
  7. Polarity Новичок

    • Новичок
    Рег.:
    23.04.2018
    Сообщения:
    56
    Симпатии:
    10
    Репутация:
    0
    Оффлайн
    Вполне возможно. 3 декабря начинается конференция NIPS, главная конференция по машинному обучению. Alpha Zero был представлен именно на ней ровно год назад.
    Rom и sovaz1997 нравится это.
  8. FlashNeo В предбаннике

    • Новичок
    Рег.:
    23.11.2018
    Сообщения:
    65
    Симпатии:
    34
    Репутация:
    0
    Нарушения:
    10
    Оффлайн
    Долго смотрел в турнирах на Лилу. Разочаровался.
    К сожалению, в ближайшее время нейродвижки неспособны в примерно равных условиях победить стокфиш (я думал, что способны, и уже к зиме будут наравне), их удел - второе-четвертое место с комодо и гудини.

    Ну а прошлый матч А0 со стоком всерьез воспринимать нельзя. Дай Лиле такое же железо и обрежь стоку возможности до такого уровня - результат будет примерно то же. В районе +22 -3 = 75 в пользу Лилы.
    И то даже в таких условиях сток несколько раз дернул А0 в сицилианке. И будет бить и бить в этом дебюте - он плох для нейродвижков.
    SKY нравится это.
  9. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    706
    Симпатии:
    311
    Репутация:
    8
    Оффлайн
    Так всю осень одна и та же версия Лилы играла. Если изменения и были, то косметические. Вот натренируют новую сетку, тогда будет видно, есть прогресс или нет.
  10. FlashNeo В предбаннике

    • Новичок
    Рег.:
    23.11.2018
    Сообщения:
    65
    Симпатии:
    34
    Репутация:
    0
    Нарушения:
    10
    Оффлайн
    Ну во-первых не одна версия, сети совершенно разные были (размер один).
    Они сейчас увеличивают размер сети, но пока результаты неутешительные. Прирост рейтинга при пересчете на фидешные ЭЛО (а не внутренние) при играх со старыми сетями не выходит за статистическую погрешность.
  11. Boroda Новичок

    • Новичок
    Рег.:
    12.01.2018
    Сообщения:
    54
    Симпатии:
    7
    Репутация:
    0
    Оффлайн
    Ну вроде Хасабис говорит, что А02, уже сильнее нынешнего стока и играет примерно 3600Эло. Это конечно если верить на слово. Какое там правдо железе неизвестно.
  12. FlashNeo В предбаннике

    • Новичок
    Рег.:
    23.11.2018
    Сообщения:
    65
    Симпатии:
    34
    Репутация:
    0
    Нарушения:
    10
    Оффлайн
    Говорить он может что угодно, но они дали ублюдочные условия Стоку в прошлый раз, и выдали это за великий прорыв.
    Если посадить сток на домашний комп, а какому-нибудь Васпу, Лазеру или чему-то там еще дать мощности суперкомпа, то Сток тоже будет слабее.
    Так и здесь...
  13. Boroda Новичок

    • Новичок
    Рег.:
    12.01.2018
    Сообщения:
    54
    Симпатии:
    7
    Репутация:
    0
    Оффлайн
    Где про это можно прочитать?
  14. FlashNeo В предбаннике

    • Новичок
    Рег.:
    23.11.2018
    Сообщения:
    65
    Симпатии:
    34
    Репутация:
    0
    Нарушения:
    10
    Оффлайн
    http://lczero.org/ - сайт

    Дискорд с обсуждениями
    https://discordapp.com/invite/pKujYxD

    Тема на форчессе (раньше там можно было выловить разраба crem, ща вроде уже нет: он и тут бывал, впрочем)

    http://forchess.ru/showthread.php?t=906
    Последние страниц 10 можно почитать - стагнация в развитии, увы.

    Ну и в первом сообщении ссылки на буржуйские форумы с обсуждением лейлы.
  15. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    706
    Симпатии:
    311
    Репутация:
    8
    Оффлайн
    Насколько я слышал играет до сих пор первая версия. Они запускали с нуля обучение второй версии, но та особого прогресса не показала. После этого они с нуля запустили обучение третьей версии и у нее в начале обучения был заметный прогресс.

    Увеличение сети не факт, что хорошая идея. Во-первых, для обучения потребуется намного больше партий. А у Лилы с ресурсами для обучения проблема. А во-вторых, скорость перебора вариантов во время игры упадет. И не факт, что лучшее понимание окупит замедление перебора.
  16. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    8.694
    Симпатии:
    1.942
    Репутация:
    82
    Адрес:
    Москва
    Оффлайн
    Интересно, что разработчики гошной Лилы тоже жалуются на стагнацию. Хотя рейтинг, вроде бы, растёт...
  17. Mustitz Заслуженный

    • Заслуженный
    • Участник
    Рег.:
    30.09.2006
    Сообщения:
    2.847
    Симпатии:
    309
    Репутация:
    21
    Адрес:
    Киев
    Онлайн
    Ну... все жалуются на стагнацию, это глобальное свойство нейрсетей. До какого-то предела всё хорошо, а дальше стагнация. Повышает размерность — переобучение.
  18. svoitsl Учаcтник

    • Участник
    Рег.:
    05.01.2018
    Сообщения:
    124
    Симпатии:
    18
    Репутация:
    1
    Оффлайн
    Ну на настоящее время есть только две сети,это 11248 и 11258, других вроде нет, но и движок был 0.18 стал 0.19, что тоже чуток Эло добавило
    Вроде бы эти эксперименты если и были то результат не обнародован. Всё таки сеть например 40х384 довольно не просто довести до нормального уровня. Да и смысла нет никакого,до сих пор нет внятного способа обучить сети и поменьше с заранее предсказуемым результатом.
    Насчет стагнации, то есть ещё козырь у сети 3х в снижении LR и ещё можно 15-20 млн игр для обучения использовать, но все равно нет уверенности в заранее предсказуемом результате
  19. crem Новичок

    • Новичок
    Рег.:
    24.11.2016
    Сообщения:
    95
    Симпатии:
    107
    Репутация:
    11
    Онлайн
    Во всех CCC играла (и до сих пор играет) одна и та же сеть 11248, натренированная аж 30 августа. Во всех играх TCEC после этой даты тоже играет эта сеть.
    После этого тренировалась test20, которая оказалась хуже.
    Сейчас test30 подаёт неплохие надежды. Там в частности используется policy sharpening, который казался свежей идеей, но три дня назад внезапно обнаружилось, что deepmind его тоже использовал (вроде бы, если мы интерпретируем статью правильно). Короче, продолжают находиться детали, которые у нас не так как у AlphaZero, и это хорошо.

    В версии v0.20 будут изменения, которые позволят поддерживать разные варианты архитектуры нейросети. Ожидается, что из-за этого следующая попытка (скорее всего test40, но может оказаться что и test50) будет сильнее. Главным образом из-за SE сети, которая говорят хорошо себя показала в тестах.
    Ну и ещё возможно добавим несколько константных плоскостей на вход нейросети: координатные (чтоб нейросеть лучше "видела" где относительно краёв доски находятся фигуры) и "шашечную" с разными значениями для чёрных и белых клеток (чтобы легче было различать разноцветных слонов).
    И ещё попробуем добавить отдельную вероятность победы/поражения/ничьи на выходе из нейросети, но это наверняка не в test40.

    Все сети (test10, test20, test30 и планирующаяся test40) одного и того же размера.
    Последние данные очков репутации:
    Challenger Spy: 2 (Наконец-то факты!) 9 дек 2018 в 10:18
    Challenger Spy, Rom, Undying и 3 другим нравится это.
  20. Polarity Новичок

    • Новичок
    Рег.:
    23.04.2018
    Сообщения:
    56
    Симпатии:
    10
    Репутация:
    0
    Оффлайн
    Переобучение возникает когда данных мало. Лила может генерировать новые данные хоть целую вечность, только дай ресурсов.
  21. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    706
    Симпатии:
    311
    Репутация:
    8
    Оффлайн
    А можно расшифровать, что такое "policy sharpening"? Гугл тут бессилен. :)
  22. Mustitz Заслуженный

    • Заслуженный
    • Участник
    Рег.:
    30.09.2006
    Сообщения:
    2.847
    Симпатии:
    309
    Репутация:
    21
    Адрес:
    Киев
    Онлайн
    А где гарантия, что данные будут оптимальны для обучения? Какие-то классы позиций могут остаться за бортом, могут быть перекосы в данных, когда один тип будет превуалировать, ... Эффект переобучения проявляется даже в распознавании изображений, когда мы можем генерировать примеры бесконечно (растянул, сжал, повернул, ...)
  23. Polarity Новичок

    • Новичок
    Рег.:
    23.04.2018
    Сообщения:
    56
    Симпатии:
    10
    Репутация:
    0
    Оффлайн
    Лила учится играть на своих играх и поэтому постоянно улучшает генератор данных, на которых она учится.
    Если бы был хороший генератор картинок с кошками, то это означало бы бесконечное количество данных и отсутствие переобучения в распознавании котиков. Однако это очень сложная задача, гораздо проще обучить обычный классификатор. Хотя даже очень плохой генератор (растяжения, сжатия, повороты) обычно немного улучшает классификатор, за счёт роста эффективного размера выборки.
  24. Sergey1983 Учаcтник

    • Участник
    Рег.:
    03.04.2018
    Сообщения:
    126
    Симпатии:
    14
    Репутация:
    1
    Оффлайн
    Вовсе не факт.Что если при обучении будет слишком низкая случайность хода?Лила будет пробовать лишь ходы слабо отличающиеся от лучшего на данный момент и это станет её слабостью.
    Одним словом важны ещё правильные параметры обучения
  25. Polarity Новичок

    • Новичок
    Рег.:
    23.04.2018
    Сообщения:
    56
    Симпатии:
    10
    Репутация:
    0
    Оффлайн
    Значит будет долгая сходимость. Переобучение - это вполне конкретная штука, а не просто ситуация, когда модель работает плохо.
  26. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    8.694
    Симпатии:
    1.942
    Репутация:
    82
    Адрес:
    Москва
    Оффлайн
    Собственно, вот:
    so basically leela zero has made 0 progress in the last 4months since the last 15 block 157 net
  27. Mustitz Заслуженный

    • Заслуженный
    • Участник
    Рег.:
    30.09.2006
    Сообщения:
    2.847
    Симпатии:
    309
    Репутация:
    21
    Адрес:
    Киев
    Онлайн
    Подоспел новый матч против Stockfish 10 (правда снова по правилам DeepMind). Перевес теперь уже +155 -6 =839
    https://www.chess.com/news/view/updated-alphazero-crushes-stockfish-in-new-1-000-game-match
    [​IMG]
    Ну и с книгой я не разобрался. Вроде у Stockfish была сильная книга, но в то же время упоминается и TCEC 2016 книжка...
    --- добавлено: 6 дек 2018 в 22:19 ---
    [​IMG]
    Sergey1983, Edwards, sovaz1997 и ещё 1-му нравится это.
  28. svoitsl Учаcтник

    • Участник
    Рег.:
    05.01.2018
    Сообщения:
    124
    Симпатии:
    18
    Репутация:
    1
    Оффлайн
    Интересно было бы прочитать статью,вам я вижу, это пока не удалось
    1 Матч вроде игрался с SF8 в начале года
    2 контроль был 3 час +15" на ход
    3 у SF была какая то книжка
    Edwards нравится это.
  29. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    411
    Симпатии:
    54
    Репутация:
    3
    Оффлайн
    Это, кстати не матч против Stockfish 10. Это матч против древнего Stockfish 8! Опять! :( 52 пункта перевес всего лишь над SF 8. Хотя, да, здесь нет линейности ЭЛО в матчах с NN движками, но все же. Почему не против, хотя бы, SF 9?
  30. svoitsl Учаcтник

    • Участник
    Рег.:
    05.01.2018
    Сообщения:
    124
    Симпатии:
    18
    Репутация:
    1
    Оффлайн
    да, вроде книжка была (в тех случаях когда она была) не "какая то", а та что на TCEC 2016 была (а может и сейчас есть), то есть движки видимо играли позицию не сначала, а после окончания заданного дебюта,если это так, то это для A0 тоже не простой случай , и это отчасти объяснят низкий результат
  31. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    411
    Симпатии:
    54
    Репутация:
    3
    Оффлайн
  32. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    411
    Симпатии:
    54
    Репутация:
    3
    Оффлайн
    Результаты с книгой и без книги.

    Код:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws
    
    1 AlphaZero                     : 2416   35  33   100    54.5 %   2384   75.0 %
    2 Stockfish 8                   : 2384   33  35   100    45.5 %   2416   75.0 %
    + 17,= 75,- 8. Это с дебютами TCEC. Против SF 8, ага.

    А это без дебютов!

    Код:
    Program                           Elo    +   -   Games   Score   Av.Op.  Draws
    
    1 AlphaZero                      : 2452   38  35   110    64.5 %   2348   65.5 %
    2 Stockfish 8                    : 2348   35  38   110    35.5 %   2452   65.5 %
    + 35,= 72,- 3
  33. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    Рег.:
    17.07.2011
    Сообщения:
    12.101
    Симпатии:
    11.967
    Репутация:
    773
    Нарушения:
    15
    Оффлайн
    Вяленый форева :ura:
    FlashNeo, sovaz1997 и Нестор нравится это.
  34. FlashNeo В предбаннике

    • Новичок
    Рег.:
    23.11.2018
    Сообщения:
    65
    Симпатии:
    34
    Репутация:
    0
    Нарушения:
    10
    Оффлайн
    :lol:

    Великий прогресс, даже куцый и обрезанный сток 8 в отдельных партиях бьет AZ.
    Видимо, результаты встречи с нормальный десятым стоком показывать просто стыдно - он устраивает великому техническому прорыву показательную порку.

    Кстати, Сток 10 бьет Комодо и Гудини с гораааздо большим отрывом, чем их хвастливый "crush". 57% набранных очков - ну можно было бы взять сток 7 и получить побольше
  35. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    8.694
    Симпатии:
    1.942
    Репутация:
    82
    Адрес:
    Москва
    Оффлайн
    http://talkchess.com/forum3/viewtopic.php?f=2&t=69175&start=10

Поделиться этой страницей