AlphaZero. Нейронная сеть играет в шахматы

Discussion in 'Машинное отделение' started by grizly, 6 Dec 2017.

  1. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Member Since:
    17.07.2011
    Message Count:
    19.230
    Likes Received:
    23.509
    Репутация:
    1.263
    Нарушения:
    31
    Оффлайн
  2. N1mTzo Учаcтник

    • Участник
    Member Since:
    17.04.2008
    Message Count:
    318
    Likes Received:
    30
    Репутация:
    1
    Оффлайн
    Ну да, "64 CPU threads" очень слабое железо для Вяленого. Даже на TCEC, который тут часто приводят в пример в финале юзают максимум 44 ядра (22 на первом этапе).
    И в чем смысл подобного матча? В том, чтобы ИИ играл против книги и эндшпильных таблиц?
    На архиве статьи по ИИ (Artificial Intelligence) пачками выходят, только за сегодня 15 штук опубликовали, их только специалисты читают. И та статья (препринт) под названием "Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm" вышла 5 декабря, а первые отклики в СМИ появились только 6 декабря, а топовые СМИ (типа американских или британских газет) и вовсе 7-8 числа об этом написали. При этом ни в твиттере DeepMind, ни у Хассабиса вообще никакой информации не было, только 8-го Демис отписался, что более подробная информация будет скоро. Не вижу тут спланированной PR-кампании, скорее похоже на то, что DeepMind не ожидали подобной шумихи из-за рядовой статьи.
    Undying and dom1n1k like this.
  3. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Не совсем понятно, почему Альфа - ИИ, а Стокфиш не ИИ?
    ОФ на нейронной сети более ИИшная, чем классическая ОФ?
    Или алгоритмы обучения нейронной сети (настройки весов ОФ на нейронной сети) более ИИшные чем алгоритмы подбора весов в Стокфише?
    Или mcts более ИИшный чем альфа-бета?

    Например в википедии, в статье про нейронные сети, ИИ содержательно упоминается только один раз, в цитате
    "А с точки зрения искусственного интеллекта, ИНС является основой философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов."
    https://ru.wikipedia.org/wiki/Искусственная_нейронная_сеть
  4. Baron Учаcтник

    • Участник
    Member Since:
    08.02.2008
    Message Count:
    2.351
    Likes Received:
    237
    Репутация:
    11
    Оффлайн
    Эльвест в 2007-08 годах проиграл "минус 3" Рыбке с форой в пешку два матча. Десять лет назад. Учитывая разницу между тогдашней Рыбкой и сегодняшним Стокфишем. Альфазеро радикально отличается от этих движков тем, что против людей она (или он?) научится играть в анти-человеческие шахматы. Будет уклоняться от разменов, максимально насыщая позицию тактикой, изучив больше игр людей, выявит даже типы комбинаций, которые люди чаще всего зевают и другие тонкости, которые сами шахматисты не знают. Структуру, которую иногда получают люди против машин, будет исключена (только если ИИ не решит что он форсированно выигрывает - тогда пожалуйста). Полагаю, что против такого хитрого соперника лишний конь может и не помочь (причем нейросети по большому счету без разницы против кого играть, Эльвеста или обычного кмс - оба одинаково слабы в плане тактики). В этом смысле против Альфы играть даже труднее, чем против 32-фигурной таблицы Налимова - потому что она может умышленно ухудшать свою позицию, лишь бы навредить людям.
    Undying likes this.
  5. West55 Начинающий

    • Начинающий
    Member Since:
    09.12.2017
    Message Count:
    4
    Likes Received:
    2
    Репутация:
    0
    Оффлайн
    А не будет, как у людей? Заплатил ты за А0, за ее обучение. А она двоишником оказалась - играет на 3 разряд:D
    Challenger Spy likes this.
  6. WinPooh В.М.

    • Команда форума
    Member Since:
    13.02.2006
    Message Count:
    9.491
    Likes Received:
    3.118
    Репутация:
    95
    Location:
    Москва
    Оффлайн
    Policy network даёт на выходе именно что ходы-кандидаты. В смысле, распределение вероятностей для них оказаться лучшим ходом.
    В первоначальной Alpha Go Fan эта сетка была отдельной, начиная с Alpha Go Master сетки value и policy объединили в одну, но ходы-кандидаты для MCTS она по-прежнему возвращает.
  7. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Member Since:
    30.09.2006
    Message Count:
    3.546
    Likes Received:
    1.265
    Репутация:
    36
    Location:
    Киев
    Оффлайн
    Научится точно находить момент, когда надо включать Stockfish :)
  8. FIBM Учаcтник

    • Участник
    Member Since:
    27.05.2011
    Message Count:
    395
    Likes Received:
    312
    Репутация:
    7
    Оффлайн
    Это называется "Адиабатический Квантовый Компьютер". У меня для вас его пока нет:).
  9. sovaz1997 Учаcтник

    • Участник
    Member Since:
    30.08.2016
    Message Count:
    649
    Likes Received:
    120
    Репутация:
    3
    Оффлайн
  10. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Так вероятность же вторична. Сначала оценка (или матожидание результата как оценка), а потом исходя из оценки и статистики - вероятность. Или нет?
  11. WinPooh В.М.

    • Команда форума
    Member Since:
    13.02.2006
    Message Count:
    9.491
    Likes Received:
    3.118
    Репутация:
    95
    Location:
    Москва
    Оффлайн
    Вроде бы в первом варианте программы там вероятности из сетки и из симуляций складывались с определёнными весами (чуть ли не 0.5 на 0.5). В какой-то из тестировавшихся версий был и вариант 1 на 0, т.е. только policy network, если я ничего не путаю.

    Про AG Fan была хорошая статья на Хабре: https://habrahabr.ru/post/279071/
    А вот про AG Zero: https://habrahabr.ru/post/343590/
    N1mTzo likes this.
  12. Undying Учаcтник

    • Участник
    Member Since:
    31.08.2016
    Message Count:
    1.316
    Likes Received:
    566
    Репутация:
    15
    Оффлайн
    Стокфиш это тоже ИИ, но тот который Искусственный Идиот. А у Альфа Зеро уже проблески интеллекта есть, как минимум шахматного.
    thenewone likes this.
  13. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Из первой статьи следует что сеть выдает два значения - вероятность хода (массив 19x19), и вероятность победы из позиции (оценка).
    То есть и то и то.
    Вот тут сразу появляется ответ на вопрос - почему не альфа-бета. Если у нас есть вероятности ходов, то MCTS лучше может их использовать.
    —- добавлено: 12 Dec 2017, опубликовано: 12 Dec 2017 —-
    Даже обрезанная версия стока сыграла всего на 80 пунктов эло слабее Альфы. 80 пунктов это разница между идиотом и проблесками интеллекта?
    Возникает желание вычесть 80 пунктов из рейтинга Карлсена :)
  14. Neo94 Учаcтник

    • Участник
    Member Since:
    15.11.2014
    Message Count:
    434
    Likes Received:
    144
    Репутация:
    -10
    Оффлайн
    Если сравнивают алгоритмы, то совершенно верно убрали все дебютные и эндшпильные базы.
    Какой смысл давать их стокфишу (а значит приделывать похожие костыли и альфазеро), если идет сравнение исключительно двух подходов? Это просто вырезание куска партии, пусть обе проги вручную доходят до того или иного результата.
    thenewone and Undying like this.
  15. Комсюк народный модератор

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Member Since:
    17.07.2011
    Message Count:
    19.230
    Likes Received:
    23.509
    Репутация:
    1.263
    Нарушения:
    31
    Оффлайн
    Как раз Альфа дебют выдрочила при обучении
    Challenger Spy likes this.
  16. Diamond Старожил

    • Ветеран
    • Старожил
    Member Since:
    26.08.2010
    Message Count:
    5.545
    Likes Received:
    1.280
    Репутация:
    76
    Оффлайн
    если сравнивали алгоритмы, то вполне логично также не давать время на учебу, а обучаться в процессе бояVotTak
    Challenger Spy likes this.
  17. Нестор консультант_ специалист по черной магии

    • Заслуженный
    • Участник
    • Старожил
    Member Since:
    11.04.2006
    Message Count:
    2.955
    Likes Received:
    3.315
    Репутация:
    331
    Location:
    Москва
    Оффлайн
    NS, привет, Сергей!
    Как дела? :)
  18. FIBM Учаcтник

    • Участник
    Member Since:
    27.05.2011
    Message Count:
    395
    Likes Received:
    312
    Репутация:
    7
    Оффлайн
    Не "выдрочила" а объяснила "себе" и "глупой железяке", что такое хорошие и плохие дебютные варианты. :)
    Undying likes this.
  19. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Если движок изначально рассчитан на эндшпильные базы, то это его неделимая часть. Зачем прописывать эндшпильные малофигурные ньюансы в ОФ и переборных алгоритмах, если и так есть ЭБ?
    То же самое и с дебютами. Нейросеть вообще-то научили дебютам, так как для дебютных позиций у неё как раз набралась статистика по (лучшим) ходам, которую она использовала в матче.
    По-честному было как раз дать дебютную стоку.
    —- добавлено: 12 Dec 2017 —-
    Привет! Всё отлично.
    thenewone, sovaz1997 and Нестор like this.
  20. Undying Учаcтник

    • Участник
    Member Since:
    31.08.2016
    Message Count:
    1.316
    Likes Received:
    566
    Репутация:
    15
    Оффлайн
    Причем здесь сила игры? Неужели калькулятор умнее вас, потому что лучше перемножает числа?

    Речь о понимании шахмат. У Стокфиша понимание шахмат на уровне плинтуса, сильно играет он исключительно за счет глубины счета. А вот у Альфа Зеро понимание шахмат уже есть.
  21. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Альфу научили дебютам. Почему не дали стоку посчитанную дебютную книгу? Хотя-бы монтекарловскую.
    —- добавлено: 12 Dec 2017, опубликовано: 12 Dec 2017 —-
    Разница в понимании шахмат - у них ровно на 80 пунктов Эло. И тот и другой - обычные калькуляторы. Альфа это тот-же калькулятор "вид сбоку". Играет так-же за счет счета.
  22. crem Учаcтник

    • Участник
    Member Since:
    24.11.2016
    Message Count:
    140
    Likes Received:
    203
    Репутация:
    14
    Оффлайн
    У alphazero нету "дебютной книги" в общепризнаном понимании. Она играет хорошо с первых же ходов, но это не значит, что у неё есть таблица для поиска следующего хода по предыдущим. Как и все остальные ходы, дебют альфа играет "по общим соображениям", примерно как "в дебюте X, Y лучше сделать до того как сделано Z" (упрощённый пример). Это не таблица, которой стокфиш смог бы воспользоваться.

    Ну и я уверен, что если бы альфазеро не дали подумать на первых ходах минуту, ходы были бы слабее. А если есть дебютная книга, думать не надо.
  23. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Есть. Если нейросеть для каждого хода в позиции выдает вероятность того что он является лучшим, и если она для каждой позиции выдает матожидание результата - то это и есть дебютная книга в общепризнанном понимании. И когда она в процессе обучения наигрывает партии - как раз чем ближе к начальной позиции, тем лучше настраиваются оценки и вероятности ходов.

    Наиграв партий с определенных позиций - она по сути в том числе наиграла дебютные книги с этих позиций.
    И по-честному нужно было дать и стоку дебютную книгу, например монтекарловскую, наигранную им с тех же позиций, что наигрывала альфа. Ему даже такой не дали.
    N1mTzo likes this.
  24. Jadn Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Member Since:
    10.05.2006
    Message Count:
    3.626
    Likes Received:
    2.535
    Репутация:
    52
    Оффлайн
    Я жаловался на слабое железо? Я написал, что условия неравные, мне в ответ сказали, что это ОК, и создавать равные условия не входило в задачу эксперимента. Вот я и предложил еще усовершенствовать условия.
    N1mTzo likes this.
  25. Gridnev Старожил

    • Участник
    • Старожил
    Member Since:
    01.06.2012
    Message Count:
    652
    Likes Received:
    3.632
    Репутация:
    152
    Оффлайн
    Она себе создала дебютную книгу. В 700000 партий чаще всего (700000 раз) встречалась именно начальная позиция и в ней А0 больше всего прокачала "интуицию". Надо было их на тестовых позициях сравнивать.
  26. dom1n1k Учаcтник

    • Участник
    Member Since:
    18.11.2016
    Message Count:
    187
    Likes Received:
    155
    Репутация:
    3
    Оффлайн
    А еще A0, в дополнение к дебютной, создала себе миттельшпильную книгу! Она ж тоже матоожидание результата для каждой позиции там видело. Так что по-честному было бы SF ещё и миттельшпильные таблицы дать, чо уж там.
  27. crem Учаcтник

    • Участник
    Member Since:
    24.11.2016
    Message Count:
    140
    Likes Received:
    203
    Репутация:
    14
    Оффлайн
    Кстати, вчера deepmind запустил анализатор 6000 самых популярных дебютов для Go.
    https://alphagoteach.deepmind.com/
    N1mTzo likes this.
  28. FIBM Учаcтник

    • Участник
    Member Since:
    27.05.2011
    Message Count:
    395
    Likes Received:
    312
    Репутация:
    7
    Оффлайн
    А может ему ("брутфорсу") еще и бесплатных пироженых? Пусть свою базу ("брутфорсовскую") наработает, а потом приходит. А на чужую базу зарится не надо:).
  29. longinean Учаcтник

    • Участник
    Member Since:
    12.04.2015
    Message Count:
    2.802
    Likes Received:
    8.511
    Репутация:
    130
    Оффлайн
    Можно подключить дебютную книгу, обученную на 700.000 партий, плюс заработанные брутфорсом таблицы Сизиги :)
  30. Camon14 Хранитель традиций

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Member Since:
    28.05.2012
    Message Count:
    18.567
    Likes Received:
    10.939
    Репутация:
    687
    Нарушения:
    31
    Оффлайн
    https://ru.m.wikipedia.org/wiki/Аримаа :(
  31. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Member Since:
    30.12.2009
    Message Count:
    16.477
    Likes Received:
    8.522
    Репутация:
    530
    Нарушения:
    31
    Оффлайн
    Этого мало. Надо сразу 32-х фигурные таблицы Налимова.
  32. nn Заблокирован

    • Участник
    • Заблокирован
    • Старожил
    Member Since:
    25.03.2007
    Message Count:
    1.459
    Likes Received:
    3.109
    Репутация:
    124
    Нарушения:
    31
    Оффлайн
    Смысл в том, что AlphaZero тренировалась хоть и на большом массиве данных (более триллиона позиций), но далеко не охватывающем все шахматы. В data science и машинном обучении есть такая проблема как overfitting, когда результаты на in-sample data оказываются прекрасными, в то время как на out-of-sample может быть что угодно. Если мы рассматриваем AlphaZero как умеющую играть в шахматы, а не в набор позиций на котором она тренировалась, логично начинать игру с позиций которые ей не попадались или попадались не часто; книга на 2-хода как у Stockfish была бы нормальной.
  33. Vertu Старожил

    • Участник
    • Старожил
    Member Since:
    22.12.2006
    Message Count:
    972
    Likes Received:
    44
    Репутация:
    4
    Оффлайн
    А основные текущие базы Стокфиша чем, по-вашему, наработаны? С неба свалились? И причем тут "брутфорс"?
    Diamond likes this.
  34. like Начинающий

    • Начинающий
    Member Since:
    09.12.2017
    Message Count:
    4
    Likes Received:
    3
    Репутация:
    0
    Оффлайн
    откуда расценки, можете дать ссылку?
  35. FIBM Учаcтник

    • Участник
    Member Since:
    27.05.2011
    Message Count:
    395
    Likes Received:
    312
    Репутация:
    7
    Оффлайн
    Вы что играете на первых ходах? е4....нет нет, так нечестно, давайте заставим вас играть с4! А, что очень логично.
    thenewone likes this.

Share This Page