AlphaZero. Нейронная сеть играет в шахматы

Тема в разделе "Машинное отделение", создана пользователем grizly, 6 дек 2017.

  1. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Забавно, Но это первый тестовый сезон

    Кстати, LCZero будет играть в бонусных играх и похоже, что параллельно с официальными играми. Теперь я понял, как они сохранят аудиторию))
  2. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.527
    Симпатии:
    1.243
    Репутация:
    32
    Адрес:
    Киев
    Оффлайн
    Теоретически можно, только это будет огромная (медленная) сеть. Вообще, для счёта вариантов есть эффективные алгоритмы, зачем это перекладывать на нейросеть? Основная проблема не в том, чтобы считать. Есть алгоритм MCTS, есть alpha-betd, можно, наверное, использовать и другие гибридные и не очень варианты. Задача нейросети больше в том, чтобы указывать, что считать перспективно, а что нет.
  3. Undying Учаcтник

    • Участник
    Рег.:
    31.08.2016
    Сообщения:
    1.316
    Симпатии:
    566
    Репутация:
    15
    Оффлайн
    Жаль тогда. Таблица на сайте почему-то личные встречи не учитывает.
    —- добавлено: 17 авг 2018 —-
    Надо сначала проблемы с железом решить. Толку от всего этого если Лила опять на одной ноге играть будет.
  4. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Откуда такая информация?
  5. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    WinPooh, из чата TCEC (цитата сообщения Антона). Возможно, он имеет ввиду, что между дивизионами, непонятно
  6. Semion13 Ценятся на шахматной доске только хорошие ходы. ©

    • Заслуженный
    • Ветеран
    Рег.:
    17.01.2015
    Сообщения:
    10.705
    Симпатии:
    15.855
    Репутация:
    1.863
    Адрес:
    Belarus, Minsk
    Оффлайн
    :)

    [​IMG]
    Undying нравится это.
  7. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Ну а теперь ждем заявления от TCEC
  8. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Интересно, столько Лейла набрала после решения проблемы с сервером?
    Если идти от партии 81 Pedone 1.8 0 1 lc0 16.10520, то это 6/8
  9. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Какой-то компромисс в любом случае лишним не будет. Все таки, это слишком много: проблемное оборудование, бесплатная победа Arasan против Nemorino. Выходит, что даже ослабленная версия прошла бы дальше, если бы не этот баг Nemorino.

    О тай-брейках: вот это были был компромисс. У нас же типо Arasan выиграл личную встречу. Хотя, на самом деле, Arasan выиграл у ослабленной LCZero. Просто переиграть тай-брейк. Если бы даже здесь Arasan выиграл, это бы уже восприняли нормально. А сейчас мы видим, как экспериментальный сезон "следует" правилам.
    —- добавлено: 17 авг 2018 —-
    Если бы LCZero играл на какой-то GT 1030, вопросов бы вообще не было. Но здесь, вроде как, другая цель - проверить на сравнимом оборудовании.
  10. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.527
    Симпатии:
    1.243
    Репутация:
    32
    Адрес:
    Киев
    Оффлайн
    Ну... есть ещё и заинтересованность автора Asaran. В целом он вполне мог бы снять свою программу в пользу LcZero. Но если он не хочет этого делать, то организаторы TCEC обязаны руководствоваться правилами проведения турнира в первую очередь.
    sovaz1997 нравится это.
  11. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Согласен. Возможно, он сам бы этого хотел. Интересно его мнение. Увы, в правилах ничего не написано об аппаратных проблемах.
  12. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Помнится, подведение итогов после 4-го дивизиона было часов через 30.
    Посмотрим, как быстро разберутся с 3-им...
  13. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Итак, скоро начнутся бонусные игры Ethereal против LCZero
  14. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Будет забавно, если Лейла выиграет этот матч.
    ИМХО кстати счет будет очень близким, и вместо лейлы (которая по силе вполне себе может быть в топ-5 движков уже сейчас) наверх идет Арасан...
  15. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    А насколько для движков из топ-5 типично не выигрывать у Педона и Арасана?
  16. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Я думаю, что все, кроме большой тройки, не выступят лучше Этерала в этом дивизионе
    А он против этих двух движков набрал 4 победы и 4 ничьи.
    ИМХО примерно столько же набрала бы и нормальная Лейла (она взяла 1 победу и 2 ничьих в последних 8 турах)
  17. pavelgttfj8 Учаcтник

    • Участник
    Рег.:
    07.12.2017
    Сообщения:
    288
    Симпатии:
    89
    Репутация:
    3
    Оффлайн
    Ну пока счет 1-1 в двух поединках лилы и этериала, причем лила свела вничью абсолютно выигранную партию.
  18. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Выигранную ли? А как там выигрывать в том разноцвете? Качество сбрасывать?
  19. pavelgttfj8 Учаcтник

    • Участник
    Рег.:
    07.12.2017
    Сообщения:
    288
    Симпатии:
    89
    Репутация:
    3
    Оффлайн
    Никак. Собственно я написал пост еще до того как была зафиксирована ничья.
    Просто позиция была выигранная до этого, по ходу игры, но лила свела все в невыигрываемую позицию с двумя лишними пешками.
  20. pavelgttfj8 Учаcтник

    • Участник
    Рег.:
    07.12.2017
    Сообщения:
    288
    Симпатии:
    89
    Репутация:
    3
    Оффлайн
    Итог такой, Лила должна была пройти в премьер дивижн и войти там топ-5
    Вместо этого из-за тупости организаторов она не проходит никуда.
    Последняя версия сыграло с Этериалом в ничью все партии и еще вроде было пару ничьих со стокфишем 8
    В новом дивизионе косяков админа было еще больше чем в предыдущем, исправлять ошибки никому не интересно.
    Если решили назвать сезон тестовым - почему бы не протестировать исправление ошибок? А то мало ли что еще будет в не "тестовом" сезоне.
    Напоследок ничейная позиция, которую лила довольно позитивно оценивает.
    0.jpg
    sovaz1997 нравится это.
  21. Polarity Новичок

    • Новичок
    Рег.:
    24.04.2018
    Сообщения:
    77
    Симпатии:
    17
    Репутация:
    0
    Оффлайн
    Тут всё связано. Задача поиска заключается в том, чтобы опередлить сильнейший ход. Сильнейший ход можно определить, построив всё дерево поиска, т. е. заглянув в будущее. Нейронная сеть так или иначе (как и практически все алгоритмы в RL) учится предсказывать это самое будущее. Скажем, она в 60% случаев будет угадывать сильнейший ход, а в 40% будет как-то ошибаться, т. к. сеть и правда небольшая (числа взяты с потолка). Это можно заметить, запретив LC0 искать вообще, а играть только на выходах нейронной сети. Она будет порой делать очень сильные ходы, а иногда - зевать фигуры, как маленький ребёнок. Замечу, как человек, в каком-нибудь 30-секундном супер-блице. И кстати, как показывает практика, даже на выходах нейронной сети LC0 играет очень сильно, т. е. предсказывается будущее достаточно хорошо.
    Но можно поверх неё прикрутить MCTS, т. е. явно построить это самое дерево игры рассматривая только перспективные варианты и хоть как-то компенсировать эту ошибку в 40%. То же самое похоже делает и человек, в играх с более долгим контролем, только в разы медленнее.
  22. Neo94 Учаcтник

    • Участник
    Рег.:
    15.11.2014
    Сообщения:
    434
    Симпатии:
    144
    Репутация:
    -10
    Оффлайн
    Думаю, сразу -75% зрителей TCEC
  23. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Интересно, как Лила оценивает известный набор эндшпильных позиций от СЮ. Кто-нибудь может проделать эксперимент?

  24. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Выиграть хотя бы одну тестовую партию ей тоже помешали косяки админа? Вроде бы проблему с перегревом GPU к этому моменту уже решили.
  25. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.527
    Симпатии:
    1.243
    Репутация:
    32
    Адрес:
    Киев
    Оффлайн
    Проблема в том, что эта оценка не будет ни о чём говорить, кроме как о настройках алгоритма MCTS и шансах ошибиться. Алгоритм MCTS вынуждает пробовать неиследованные продолжения, даже если Leela оценивает их как плохие. Соответственно они будут делать свой вклад в оценку. Плюс ошибки самой неросети.

    Другое дело, что информации, которая хранится в дереве симуляций, более чем достаточно для нахождения более точной оценки. Например, оставляем в каждой ноде 10% узлов по частоте и далее считаем вероятность победы на основании новой статистики. Она будет куда более объективной (потому как туда не войдут зевки и исследования MCTS). Но это вычислительные ресурс,да и никому неинтересно, как я понял.

    Не говоря о том, что использование таблиц Налимова может дать очень большой прирост силы.
  26. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    В некоторых из этих позиций заведомо больше фигур, чем дают таблицы Налимова. Например, крепость с пешечной цепью через всю доску. По идее, нейросетевые движки должны такие позиции решать лучше альфа-беты, именно что "на понимании".
  27. Boroda Новичок

    • Новичок
    Рег.:
    12.01.2018
    Сообщения:
    62
    Симпатии:
    8
    Репутация:
    0
    Оффлайн
    Я тоже не понимаю смысла эндшпильных таблиц в официальных турнирах? Сократить время игр? А если вдруг сделают 10ти фигурные, 12,14,16 итд, их тоже будут прикручивать к прогам?
  28. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Был бы там Arasan, получили бы 1111. А что помешало Ethereal-у (движку из ТОП-5) победить LCZero, работающего на 65% GPU? При этом Ethereal в среднем все время стоял хуже. Stockfish 8 так вообще по уровню близок к Komodo 12.

    Если они называют это экспериментальным сезоном, то они в нем могут исправлять ошибки. В следующем сезоне подобные ошибки могут привести к потере репутации. А пока они просто временно потеряли зрителей.
  29. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Одна очевидная польза от этого матча есть: теперь мы можем судить об уровне данной конфигурации Лилы по тому, насколько далеко пройдёт в турнире Ethereal. Считая, что доказано примерное равенство их силы.
  30. sovaz1997 Учаcтник

    • Участник
    Рег.:
    30.08.2016
    Сообщения:
    649
    Симпатии:
    120
    Репутация:
    3
    Оффлайн
    Не сделают). 5-фигурные может каждый у себя дома сделать. 7-фигурные Syzygy сгенерировал человнк, который подарил 2000 ядер Stockfish-у. У него огромное количество машин и он генерирует эти таблицы уже несколько месяцев. Кстати, в lichess они доступны (пока не все сгенерировано). 8-фигурные пока нереально, думаю.
    —- добавлено: 18 авг 2018 —-
    Ну, равенство доказать сложно. По некоторым оценкам, LCZero чуть слабее на 65%. Во 2-м дивизионе у LCZero было бы усиление на 50-70 пунктов, но в итоге имеем что имеем. А Ethereal должен выходить в Премьер-дивизион на 5-ю строчку.
    —- добавлено: 18 авг 2018, опубликовано: 18 авг 2018 —-
    Syzygy. В них искать надо, а не "тыкать в строчку" xD
  31. svoitsl Учаcтник

    • Участник
    Рег.:
    06.01.2018
    Сообщения:
    364
    Симпатии:
    90
    Репутация:
    7
    Оффлайн
    sovaz1997 нравится это.
  32. nn Заблокирован

    • Заблокирован
    Рег.:
    25.03.2007
    Сообщения:
    1.404
    Симпатии:
    3.105
    Репутация:
    124
    Нарушения:
    31
    Оффлайн
    Leela играет в хоккей
    Сначала был баг в понимании правил. Потом, как как его исправили, обучалась самостоятельно. Стала неплохо играть и всех возить в дебюте и миттельшпиле, но в эндшпиле теряла все преимущество.
    Фанаты троллят в процессе обучения и во время матча, и решают какие-то собственные проблемы.

    WinPooh нравится это.
  33. Mustitz Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    30.09.2006
    Сообщения:
    3.527
    Симпатии:
    1.243
    Репутация:
    32
    Адрес:
    Киев
    Оффлайн
    Ну... во-первых таблицы Налимова очень сильно улучшают качество игры в окончании. Во-вторых, обучение на большой базе партий по сути и есть в том числе составление дебютной библиотеки.
  34. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.474
    Симпатии:
    3.068
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Не сказал бы, что после первого круга Ethereal прямо вот разрывает второй дивизион.
  35. nn Заблокирован

    • Заблокирован
    Рег.:
    25.03.2007
    Сообщения:
    1.404
    Симпатии:
    3.105
    Репутация:
    124
    Нарушения:
    31
    Оффлайн
    Я бы назвал их таблицами Харламова. Куда бросать в зависимости от положения игрока и вратаря на площадке. И как видно времени на создание таблиц не было, а алгоритм самообучения вполне достойно сработал. Никакой большой базы и миллиона игр не нужно было, самообучалась очень быстро - алгоритм у Лилы 1980 года был более совершенен для физических видов спорта.

    Там еще показано обучение Лилы в велоспорте. Уровень от полного нуля до чемпиона мира достигается в течении одного заезда. Но опять же в эндшпиле возникают проблемы( правила нужно аккуратно писать), но все же этот баг одержать победу, как в хоккее, не помешал.

Поделиться этой страницей