AlphaZero. Нейронная сеть играет в шахматы

Да обычная.

—- добавлено: 19 May 2018, опубликовано: 19 May 2018 —-

В одной из партий лила показывала +2.96, а следующим ходом зевнула ферзя и получила жбан)). Прям как человек играет!

 

И того Рыбка4-Лила№306 (3мин+5сек), +6-2=2 в пользу Рыбы. Обе выигранные Лилой партии, понравились тем, что в них у противника оставалось еще куча фигур ( в последней например, у Рыбы остались ферзь, 2 коня и слон и все не удел , а король гол как сокол). В этих партиях Лила напомнила мне свою старшую знаменитую сестру.

 

Рыбка4-Лила№320 (3мин+5сек), +6-3=1 в пользу Рыбы. Лила почему то проиграла два совершенно ничейных эндшпиля, по идее должно было быть +4-3=3.

 

А где посмотреть эти партии?

 

Сделал турнир в ChessMaster с 5-ю топ игроками включая ChessMaster. Скрины и турнир в архиве прилагаю.
Leela GPU версия на GTX 1080, ~2000 Nps.

По всей видимости LcZero переросла ChessMaster, единственное что смущает здесь http://www.computerchess.org.uk/ccrl/404/ ChessMaster 11 работает на 4-х ядрах, у меня же почему-то всегда работает на одном

P.S. Не могу почему-то выложить скрины и архив одновременно.

 

Если честно, я не знаю как их сюда из арены загрузить.

 

Вот выложил всё таки скрины с турнира.
Что то не получается их приложить, сайт пишет что загрузил, а в посте нет

 

Сделал турнир LcZero GPU Net 320 - Texel 1.08a2(рейтинг ~3200-3300) результат +1=9-0 в пользу Texel.
Контроль времени 40' 10''.
Эндшпильные базы Syzygy 5-и фигурные, дебютные книги не использовал.

P.S.Уже и архив с играми не могу прикрепить.

 

Тут кто нибудь тренирует сеть? Несколько дней назад подключился, и почти сразу, в строке Games/Day появилась цифра 157, а сегодня подключился была 9 и за несколько часов она выросла до 14. Как это вообще понять?

 

наверно это была ошибка, мне например довольно проблематично тренировать,ресурсы не так уж и велики, вот все жду когда же версия crem'a сможет тренировать,там бы побольше было

 

Лилу можно запустить на TPU? Или для этого пока софт не написан?
Он стоит то меньше 10 долларов в час, можно было бы небольшой матч провести что бы узнать её настоящую силу.
А то все эти gtx970 это просто смешно

 

Кто-то научил в ручном режиме сетку 20x256 и выложил веса. И на 4 GPU она смогла обыграть какой-то непонятный стокфиш: https://lichess.org/tBPtxJBH

 

Решил сыграть стокфишем 9 (на кор i7 в 4 потока, гбайт хеш, несколько секунд на ход + фоновый расчет) с лилой на сайте play.lczero.org. Это приблизительно равносильно тому как если бы стокфиш думал в 5-10 раз дольше так как 400 nodes per move лилы на сайте это не о чем. Думал стокфиш порвет ее в хлам, но партия меня очень удивила. После 14-го хода сток вышел из дебюта и далее лила начала его просто давить, оценка позиции по стоку была более единицы, но потом лила постепенно упустила преимущество и на доске после 40-го хода стояла железобетонная ничья, дальше почти 40 ходов было стояние на месте пока lc0 не зевнула простой мат на 83-ем ходу (как она это умеет). И это при том что на 59-м ходу лила отказалась от ничьи Kg1 (троекратное повторение)
В общем, такая сильная игра "детской" версии лилы против последнего стокфиша 9 на не самом плохом железе да в коротком контроле впечатляет.

 

У меня стокфиш за 22 мая на двухядерном ноуте у блиц 1 минута на партию просто разносит в пух и прах лилу id 331 400 npm с сайта.

 

Я кажется понял в чем прикол, просто среди тренирующих оказался чел с таким же ником как у меня, вся разница только в заглавной букве).

 

pavelgttfj8, а версия LcZero GPU? Если да то какая видеокарта?

 

Сделал матч LcZero GPU Net 331 - Texel 1.08a2(рейтинг ~3200-3300) результат +3=5-2 в пользу Texel
Контроль времени 10' 5''.
Эндшпильные базы Syzygy 5-и фигурные, дебютные книги не использовал.

 

http://www.durbetsel.ru/0_algoritm.htm
вот где бы применить сеть нейронную, можно быстро создать идеального игрока в "Дурака", "начинать нужно с малого"

не умеем мы свое родное продвигать. вот тут человек сам мучился играл.

 

Ну... в случае игры в дурака может хорошо сработать детерминизация. Ну и MCTS тоже можно прикрутить с той же нейросетью для Rollout.

 

Тем временем в проекте leela chess похоже разгорается драма. Автору lc0, crem-у захотелось писать сервер для тренировки(?) на python + django. А основателю проекта видимо это не понравилось. В итоге crem решил тратить на развитие проекта намного меньше времени.
Надо сказать, что crem видимо работает в google. Его версия lc0 работает в разы быстрее на cudnn и уже на 25% быстрее в OpenCL версии, хоть там еще доступны не все оптимизации. При этом код у него простой и понятный. Так что если он не передумает, то это будет сильным ударом по проекту.

P.S. Я тут немного поизучал код lczero. Качество конечно оставляет желать лучшего. Многие принятые решения в своё время кажутся мне крайне сомнительными. Это например выбор библиотеки OpenCL. Ещё вот недавно выяснилось, что с batch normalization в нейросети что-то не так. В своё время туда захардкодили просто какие-то константы. Глядя на всё это, я не удивляюсь, почему всплывает такое огромное количетво багов. И неизвестно, сколько ещё всплывёт в будущем.

 

А есть варианты? У кого-то зелёненькие видеокарты, а у кого-то красненькие...

 

Если надо взаимодействовать с нейронками, то у зелёненьких в данный момент серьёзной конкуренции нет.
Надо понимать, что отказ от cuDNN фактически означает серьёзную потерю в скорости наигрываемых игр и замедлении прогресса. Да и специалистов в OpenCL тоже не особо заметно.
А если очень хочется, чтобы и на красеньких работало, то наверне надо было поддерживать одновременно 2 решения.

 

То то я смотрю, за последнюю неделю прогресса в реётинге нет совсем.)

 

Проект сейчас переезжает в новое место активно: https://github.com/LeelaChessZero/

 

Как я понял это форк старого проекта.
И как я понял, разработчики будут выкладывать лишь исходники, что является большим минусом, далеко не каждый сможет их собрать.

 

http://testserver.lczero.org/matches
Новый клиент для тренировочных игр работает, и судя по всему очень неплохо.

 

ну вот только публично его пока нет?

 

В обучение сети 6х64 первый раз ушло 4 млн игр, при повторном её обучении , если в сутки будет 180 тыс игр, то это займет как раз до конца июня (22 дня),но возможно ,что игр будет в два раза больше (как было раньше) и уйдет не 4 а может 3 млн игр,тогда это займет около недели

 

А если сделать сеть еще больше чем у A0 (сколько там было 20х156?), это по идее должно сделать нейронку еще умнее? Или такую большую сеть замучаешься тренировать?

 

Потенциал сети 20х256 (как у A0) известен, он в общем то Гуглом весь исчерпан, то есть для уверенного обыгрывания сегодняшнего SF его не хватит, в наших условиях скорость наигрывания партий для такой сети вряд ли превысит 3 млн/ мес, а для ещё большей сети - 1-1.5 млн/мес, и это ещё без учета того, что часть помощников может перестать помогать, как только увидят что рейтинг растет не более чем 10-20 Эло в месяц.

 

Перезапущенная тренировка сети сумела одни сутки (200000 игр, 6 поколений сети) набрать 2200 Эло настоящего рейтинга!
Удивлены все!

Но дебюты пока играет очень "творческие" (был вот 1. Nh3, 2. Ng1 3. a3, 4. a4, 5. a5).
Саморейтинг тут: http://testserver.lczero.org/ на этот раз отстаёт от реального рейтинга.

 

Crem, как я понимаю это форк старого проекта? Если да то когда можно будет присоединиться к тренировке?

 

Это не форк, это тестирование перед тем как переключить главную тренировку на lc0 и (скорее всего) начать сначала.

Если очень хочется, можно поучаствовать в тренировке тестового сервера, скомпилировав этот файл: https://github.com/LeelaChessZero/lczero-client/blob/release/lc0_main.go

Но это пока только тест, и после того как известные баги исправят, всё опять начнётся с нуля, но уже на основном сервере.

 

Crem, а уже наигранные партии будут использоваться в обучении или всё пойдёт действительно с нуля?