AlphaZero. Нейронная сеть играет в шахматы

Discussion in 'Машинное отделение' started by grizly, 6 Dec 2017.

  1. nn
    Оффлайн

    nn Старожил

    Репутация:
    124
    Видимо, весьма похоже на Лилу, в эндшпиле не очень играет. Здесь есть еще несколько позиций со сравнением со Стокфиш.

    Но они еще продолжают работать. Наверно, будет новая версия и статья. Думаю, сегодняшняя Стокфиш даже в условиях того матча А0-СФ8 уже на уровне той А0, так что интересно, что они достигнут. И будет ли тестирование теперь при нормальных условиях.

    Вот интервью Хассабиса
     
    Last edited: 28 Nov 2018
    Комсюк likes this.
  2. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Это будет очень интересно. Я действительно верб, что DeepMind способны в честных условиях победить последнюю версию SFю Просто тогда у них такой цели не было. Сейчас же у них был еще один год, за который они могли не только улучшить сеть, но и придумать что-то еще, возможно. AB-движки далеко не идеальны и они слабы на длинные последовательности тихих ходов. На самом деле, все AB-движки имеют с этим проблемы (тихие ходы и стратегия). И нейронные сети могут решить и уже успешно решают эти проблемы.
     
  3. Polarity
    Оффлайн

    Polarity Новичок

    Репутация:
    0
    Вполне возможно. 3 декабря начинается конференция NIPS, главная конференция по машинному обучению. Alpha Zero был представлен именно на ней ровно год назад.
     
    Rom and sovaz1997 like this.
  4. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Долго смотрел в турнирах на Лилу. Разочаровался.
    К сожалению, в ближайшее время нейродвижки неспособны в примерно равных условиях победить стокфиш (я думал, что способны, и уже к зиме будут наравне), их удел - второе-четвертое место с комодо и гудини.

    Ну а прошлый матч А0 со стоком всерьез воспринимать нельзя. Дай Лиле такое же железо и обрежь стоку возможности до такого уровня - результат будет примерно то же. В районе +22 -3 = 75 в пользу Лилы.
    И то даже в таких условиях сток несколько раз дернул А0 в сицилианке. И будет бить и бить в этом дебюте - он плох для нейродвижков.
     
    SKY likes this.
  5. Undying
    Оффлайн

    Undying Учаcтник

    Репутация:
    15
    Так всю осень одна и та же версия Лилы играла. Если изменения и были, то косметические. Вот натренируют новую сетку, тогда будет видно, есть прогресс или нет.
     
  6. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Ну во-первых не одна версия, сети совершенно разные были (размер один).
    Они сейчас увеличивают размер сети, но пока результаты неутешительные. Прирост рейтинга при пересчете на фидешные ЭЛО (а не внутренние) при играх со старыми сетями не выходит за статистическую погрешность.
     
  7. Boroda
    Оффлайн

    Boroda Новичок

    Репутация:
    0
    Ну вроде Хасабис говорит, что А02, уже сильнее нынешнего стока и играет примерно 3600Эло. Это конечно если верить на слово. Какое там правдо железе неизвестно.
     
  8. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Говорить он может что угодно, но они дали ублюдочные условия Стоку в прошлый раз, и выдали это за великий прорыв.
    Если посадить сток на домашний комп, а какому-нибудь Васпу, Лазеру или чему-то там еще дать мощности суперкомпа, то Сток тоже будет слабее.
    Так и здесь...
     
  9. Boroda
    Оффлайн

    Boroda Новичок

    Репутация:
    0
    Где про это можно прочитать?
     
  10. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    http://lczero.org/ - сайт

    Дискорд с обсуждениями
    https://discordapp.com/invite/pKujYxD

    Тема на форчессе (раньше там можно было выловить разраба crem, ща вроде уже нет: он и тут бывал, впрочем)

    http://forchess.ru/showthread.php?t=906
    Последние страниц 10 можно почитать - стагнация в развитии, увы.

    Ну и в первом сообщении ссылки на буржуйские форумы с обсуждением лейлы.
     
  11. Undying
    Оффлайн

    Undying Учаcтник

    Репутация:
    15
    Насколько я слышал играет до сих пор первая версия. Они запускали с нуля обучение второй версии, но та особого прогресса не показала. После этого они с нуля запустили обучение третьей версии и у нее в начале обучения был заметный прогресс.

    Увеличение сети не факт, что хорошая идея. Во-первых, для обучения потребуется намного больше партий. А у Лилы с ресурсами для обучения проблема. А во-вторых, скорость перебора вариантов во время игры упадет. И не факт, что лучшее понимание окупит замедление перебора.
     
  12. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Интересно, что разработчики гошной Лилы тоже жалуются на стагнацию. Хотя рейтинг, вроде бы, растёт...
     
  13. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    Ну... все жалуются на стагнацию, это глобальное свойство нейрсетей. До какого-то предела всё хорошо, а дальше стагнация. Повышает размерность — переобучение.
     
  14. svoitsl
    Оффлайн

    svoitsl Учаcтник

    Репутация:
    7
    Ну на настоящее время есть только две сети,это 11248 и 11258, других вроде нет, но и движок был 0.18 стал 0.19, что тоже чуток Эло добавило
    Вроде бы эти эксперименты если и были то результат не обнародован. Всё таки сеть например 40х384 довольно не просто довести до нормального уровня. Да и смысла нет никакого,до сих пор нет внятного способа обучить сети и поменьше с заранее предсказуемым результатом.
    Насчет стагнации, то есть ещё козырь у сети 3х в снижении LR и ещё можно 15-20 млн игр для обучения использовать, но все равно нет уверенности в заранее предсказуемом результате
     
  15. crem
    Оффлайн

    crem Учаcтник

    Репутация:
    14
    Во всех CCC играла (и до сих пор играет) одна и та же сеть 11248, натренированная аж 30 августа. Во всех играх TCEC после этой даты тоже играет эта сеть.
    После этого тренировалась test20, которая оказалась хуже.
    Сейчас test30 подаёт неплохие надежды. Там в частности используется policy sharpening, который казался свежей идеей, но три дня назад внезапно обнаружилось, что deepmind его тоже использовал (вроде бы, если мы интерпретируем статью правильно). Короче, продолжают находиться детали, которые у нас не так как у AlphaZero, и это хорошо.

    В версии v0.20 будут изменения, которые позволят поддерживать разные варианты архитектуры нейросети. Ожидается, что из-за этого следующая попытка (скорее всего test40, но может оказаться что и test50) будет сильнее. Главным образом из-за SE сети, которая говорят хорошо себя показала в тестах.
    Ну и ещё возможно добавим несколько константных плоскостей на вход нейросети: координатные (чтоб нейросеть лучше "видела" где относительно краёв доски находятся фигуры) и "шашечную" с разными значениями для чёрных и белых клеток (чтобы легче было различать разноцветных слонов).
    И ещё попробуем добавить отдельную вероятность победы/поражения/ничьи на выходе из нейросети, но это наверняка не в test40.

    Все сети (test10, test20, test30 и планирующаяся test40) одного и того же размера.
     
    Challenger Spy, Rom, Undying and 3 others like this.
  16. Polarity
    Оффлайн

    Polarity Новичок

    Репутация:
    0
    Переобучение возникает когда данных мало. Лила может генерировать новые данные хоть целую вечность, только дай ресурсов.
     
  17. Undying
    Оффлайн

    Undying Учаcтник

    Репутация:
    15
    А можно расшифровать, что такое "policy sharpening"? Гугл тут бессилен. :)
     
  18. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    А где гарантия, что данные будут оптимальны для обучения? Какие-то классы позиций могут остаться за бортом, могут быть перекосы в данных, когда один тип будет превуалировать, ... Эффект переобучения проявляется даже в распознавании изображений, когда мы можем генерировать примеры бесконечно (растянул, сжал, повернул, ...)
     
  19. Polarity
    Оффлайн

    Polarity Новичок

    Репутация:
    0
    Лила учится играть на своих играх и поэтому постоянно улучшает генератор данных, на которых она учится.
    Если бы был хороший генератор картинок с кошками, то это означало бы бесконечное количество данных и отсутствие переобучения в распознавании котиков. Однако это очень сложная задача, гораздо проще обучить обычный классификатор. Хотя даже очень плохой генератор (растяжения, сжатия, повороты) обычно немного улучшает классификатор, за счёт роста эффективного размера выборки.
     
  20. Sergey1983
    Оффлайн

    Sergey1983 Учаcтник

    Репутация:
    1
    Вовсе не факт.Что если при обучении будет слишком низкая случайность хода?Лила будет пробовать лишь ходы слабо отличающиеся от лучшего на данный момент и это станет её слабостью.
    Одним словом важны ещё правильные параметры обучения
     
  21. Polarity
    Оффлайн

    Polarity Новичок

    Репутация:
    0
    Значит будет долгая сходимость. Переобучение - это вполне конкретная штука, а не просто ситуация, когда модель работает плохо.
     
  22. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Собственно, вот:
    so basically leela zero has made 0 progress in the last 4months since the last 15 block 157 net
     
  23. Mustitz
    Оффлайн

    Mustitz баннер

    Репутация:
    37
    Подоспел новый матч против Stockfish 10 (правда снова по правилам DeepMind). Перевес теперь уже +155 -6 =839
    https://www.chess.com/news/view/updated-alphazero-crushes-stockfish-in-new-1-000-game-match
    [​IMG]
    Ну и с книгой я не разобрался. Вроде у Stockfish была сильная книга, но в то же время упоминается и TCEC 2016 книжка...
    —- добавлено: 7 Dec 2018 —-
    [​IMG]
     
    Last edited: 7 Dec 2018
  24. svoitsl
    Оффлайн

    svoitsl Учаcтник

    Репутация:
    7
    Интересно было бы прочитать статью,вам я вижу, это пока не удалось
    1 Матч вроде игрался с SF8 в начале года
    2 контроль был 3 час +15" на ход
    3 у SF была какая то книжка
     
    Edwards likes this.
  25. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Это, кстати не матч против Stockfish 10. Это матч против древнего Stockfish 8! Опять! :( 52 пункта перевес всего лишь над SF 8. Хотя, да, здесь нет линейности ЭЛО в матчах с NN движками, но все же. Почему не против, хотя бы, SF 9?
     
  26. svoitsl
    Оффлайн

    svoitsl Учаcтник

    Репутация:
    7
    да, вроде книжка была (в тех случаях когда она была) не "какая то", а та что на TCEC 2016 была (а может и сейчас есть), то есть движки видимо играли позицию не сначала, а после окончания заданного дебюта,если это так, то это для A0 тоже не простой случай , и это отчасти объяснят низкий результат
     
  27. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
  28. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    Результаты с книгой и без книги.

    Code:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws
    
    1 AlphaZero                     : 2416   35  33   100    54.5 %   2384   75.0 %
    2 Stockfish 8                   : 2384   33  35   100    45.5 %   2416   75.0 %
    + 17,= 75,- 8. Это с дебютами TCEC. Против SF 8, ага.

    А это без дебютов!

    Code:
    Program                           Elo    +   -   Games   Score   Av.Op.  Draws
    
    1 AlphaZero                      : 2452   38  35   110    64.5 %   2348   65.5 %
    2 Stockfish 8                    : 2348   35  38   110    35.5 %   2452   65.5 %
    + 35,= 72,- 3
     
  29. Комсюк
    Оффлайн

    Комсюк народный модератор баннер

    Репутация:
    1.270
    Вяленый форева :ura:
     
    FlashNeo, sovaz1997 and Нестор like this.
  30. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    :lol:

    Великий прогресс, даже куцый и обрезанный сток 8 в отдельных партиях бьет AZ.
    Видимо, результаты встречи с нормальный десятым стоком показывать просто стыдно - он устраивает великому техническому прорыву показательную порку.

    Кстати, Сток 10 бьет Комодо и Гудини с гораааздо большим отрывом, чем их хвастливый "crush". 57% набранных очков - ну можно было бы взять сток 7 и получить побольше
     
    Last edited: 7 Dec 2018
  31. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    http://talkchess.com/forum3/viewtopic.php?f=2&t=69175&start=10
     
  32. sovaz1997
    Оффлайн

    sovaz1997 Учаcтник

    Репутация:
    3
    В Январе уже были явные намеки на скорый выход SF 9 и я не знаю, почему они не хотели использовать Dev-версию. Скорее всего, результат бы просто не вышел за пределы погрешности за разумное время))
     
  33. crem
    Оффлайн

    crem Учаcтник

    Репутация:
    14
    Они использовали dev версию по состоянию на 13 января.
    Вдобавок к stockfish 8. Там отдельная (очень похожая на sf8) статистика упоминается.
     
  34. FlashNeo
    Оффлайн

    FlashNeo Учаcтник

    Репутация:
    2
    Статистика очень похожая, "уверенно выиграл" но мы ее вам не покажем!
    Какой результат?
    Сколько партий?
    Какие цифры?
    Какие еще матчи сыграны?
    Неужели сложно написать 3 цифры?

    Может там что-то вроде +13 -12 = 175, это технически тоже победа!

    Цифр нет, зато красивые столбики. А на деле - пшик, который схавали на реддите, но крайне скептично восприняли на чесскоме.
     
  35. WinPooh
    Оффлайн

    WinPooh В.М. Staff Member

    Репутация:
    95
    Да неважно, какие там цифры. Ценность работы ДипМайнд не в этом, они не в написании движков для TCEC соревнуются.
    Если бы не прошлогодний "пшик", например - где была бы нынешняя хайповая Лила, содравшая алгоритмы AZ чуть менее, чем полностью? Да не было бы её, от слова вообще.
     
    Undying, FlashNeo and sovaz1997 like this.