AlphaZero. Нейронная сеть играет в шахматы

Уже обсуждалось. Стокфиш уже несколько лет совершенствуется играя сам с собой. И про этом, если посчитать с терафлопсах, за эти годы их было потрачено меньше, чем AlphaZero за несколько часов.

Не спорю, но хотелось бы увидеть оценки терафлопсов Стока и Альфа0.

Эту версию можно было бы обсуждать, если бы не было одного маленького "но" - а именно предшествующей истории с го и парочкой побитых корейцев. Она показывает, что за исключением некоторых нюансов, в целом, всё реально.
Так что бубнеж про обман обывателей - это просто обычная реакция срывателей покровов.

Ну всё-таки корейцы это люди. Думаю Карлсена или Каспарова AlphaZero тоже кверенно обыграет. Кроме того игры разные. Шахматы лучше подходят для альфа-бета перебора. В го нет приемлемой оценки, поэтому считать надо до конца.

В Го компы у людей-топов не выигрывали до Альфа Го.Поэтому в глазах многих это была веха - комп выигрывает в Го у топа-человека.
В шахматы выигрывали у людей-топов уже 20 лет назад, так что в то, что компы умеют играть в шахматы сомнений немного было.
Тут есть элемент маркетинга, но все равно сам по себе результат если не краеугольный, то важный и интересный.

Ну... потому что для матча со Стоком, по хорошему, им надо было бы вызвать команду разработчиков. Далее призовой фонд. Далее шесть партий вообще не показательны, ... Да и уверенности большой нет в результате.

Так в этом же и состоит глобальная цель всей работы - уйти от тупого счета в сторону "понимания" позиции (в кавычках, конечно). Никакого счета до конца в го быть не может, потому что доска в (19/8)^2=5.6 раз больше, вариантов ***ец сколько.

Вам кажется, что вы меня поймали на противоречии? Вам кажется. Отличий достаточно:
1) Матч с Седолем был намного более историческим событием, поскольку го считалась пока ещё человеческой территорией.
2) Официального матча со Стокфишем (пока ещё) не было вовсе. Были тестовые партии, это промежуточный рабочий результат.
3) У AlphaGo не было достойных конкурентов в стенах лаборатории - с кем сравниваться? Не с кем, вот и пришлось выходить "в люди". В шахматах тестироваться есть на чём.
4) AlphaZero не стали до упора держать в секрете именно потому, что уже была AlphaGo.

Именно потому что у AlphaGo не было конкурентов, гугл взял на работу Fan Hui, тайно сыграл с ним турнир, и потом опубликовал результат в статье.
https://en.wikipedia.org/wiki/AlphaGo_versus_Fan_Hui

И лишь спустя полгода был турнир с Ли Седолом (и в течение этого полугода народ тоже ныл о всяких нечестных подтасовках, о том что побоялись играть с сильным соперником и т.д.).

То же самое происходит и сейчас, только никакого Fan Hui брать на работу в гугл не пришлось, потому что и без того есть достойный соперник (Stockfish). Точно так же тайно сыграли турнир, поделились результатами в статье, и где-нибудь через полгода объявят какой-нибудь яркий турнир, с договорённым регламентом, с настоящей рекламой, с прямым эфиром и комментаторами и т д.

Понял, вы путаете: вероятность локальных минимумов намного меньше чем вероятность возникновения седла. Но речь о другом: нахождение глобального минимума, и для этой задачи "застревание в локальных минимумах"-главная проблема.

в 1970-х годах в электронных калькуляторах появились первые микропроцессоры, также стало широко известно, что рост мощности микропроцессоров следует закону Мура, который утверждает, что число транзисторов на интегральной микросхеме удваивается каждые 18 месяцев.

В феврале 1996 года Гарри Каспаров победил шахматный суперкомпьютер Deep Blue. Этот матч выдающийся тем, что первую партию выиграл Deep Blue, автоматически став первым компьютером, победившим чемпиона мира по шахматам в турнирных условиях. Deep Blue вычислял 50 миллиардов позиций каждые три минуты, в то время как Каспаров 10 позиций за это же время. В Deep Blue было 200 процессоров


2006год — чемпион мира по шахматам, Владимир Крамник, побеждён программой Deep Fritz

2014год — американский гроссмейстер, Хикару Накамура, проиграл мини-матч программе Stockfish 5 со счётом 1-3 (+0=2-2). Две первые партии человек играл с форой в одну пешку, а две последующие без форы, но с использованием подсказок шахматной программы Rybka 3.

2050год философы-машины будут рассуждать о зарождении первых микрочипов из песка океанических пляжей силами самой природы без участия в этом какого-либо разума. попутно доказывая невозможность существования высокоорганизованных, разумных белковых форм жизни ссылками на природные условия земли, луны и тому подобное...

Наверное, tiger знает о чем говорит, все зависит от конретной функции. Но в общем FIBM прав - проблема чаще всего именно в локальных минимумах. Для гладких функций работает т.н. метод градиентного спуска, он из седел моментально вырывается, но потом ваш поиск крутится вокруг одной точки - локального минимума. Для преодоления именно этой проблемы существует целый ряд алгоритмов (симулированное охлаждение, прыжки по ямкам и т.д.) Например, в методе ямок с помощью м-да Монте Карло дается толчок, который позволяет выскочить из ловушки локального минимума. Далее ищется следующий локальный минимум методом градиентного спуска. Так были найдены конструкции Леннард-Джонсовских кластеров из 110 атомов (109*3 степеней свободы).

Подгонка эксперимента под результаты настораживает потому что все эти самообучающиеся нейросети предназначены для более серьезных задач чем просто фигурки двигать. Посадишь такого недоделанного "профессора" за пульт управления, а он нажмет из любопытства красную кнопку.

Рекламу и шум делают ноющие шахматисты и шахматные специалисты.
От гугла рекламы наоборот крайне мало.

А это вы откуда взяли? Монте-Карло же и используют, чтобы лучше находить "глобальные" минимумы. Про проблему "ущельев" (переход из седла в минимум, что ли?) не слышал.

Удивляться решениям 2-3 разряда можно если сам играешь в силу 2-3 разряда.

Не крепость:

Код:

info depth 60 seldepth 91 multipv 1 score cp -667 nodes 457771603816 nps 10096364 hashfull 999 tbhits 1189396488 time 45340242 pv f2e2 a2a1 e2f2 a1d1 f2f5 e5d4 e4e5 d1e1 g3g4 e1e5 f5f1 e5e2 g2f3 e2c2 f3e4 c2b2 e4d5 b2b3 d5e4 g7g6 f1d1 b3b4 e4d5 b4b2 d1a1 b2h2 a1a6 d4f6 d5c5 h2h3 c5b5 h3d3 a6a2 d3b3 b5c6 b3c3 c6b5 f6e5 a2a6 g6g7 a6a7 g7f8 a7a6 c3e3 a6h6 f8f7 h6c6 e3e4 b5a6 e4g4 a6b7 g4b4 b7a6 b4d4 c6c8 d4g4 a6b5 f7g6 c8f8 g4g2 b5a5 g2g3 a5b5 g3b3 b5a4 b3c3 f8a8 g6f5 a8a6 c3g3 a6h6 g3g4 a4a3 g4g3 a3b4 g3e3

Нейросеть конечно же не дает ходов-кандидатов, а дает оценку поданной на вход позиции. Это полный аналог ОФ. А выбор хода производится переборными алгоритмами, но в данном случае это не альфа-бета, а mcts.
В чем суть mcts? Это наигрывание партий «до конца, до результата» со сбором статистики результата по ходам сыгранным в партии. При наигрывании партий выбор хода производится согласно собранной статистики и оценке позиции после этого хода.

Да, интересно понять как устроена поверхность функции ошибки. Но напрямую это сделать тяжело. Может быть можно начать шевелить шахматы, упрощая по чуть- чуть правила игры. Для каждой новой игры будет своя поверхность. В какой-то момент игра станет совсем простой, и ее поверхность скорее всего не будет иметь седловых точек, то есть будет выпуклой. Найдя глобальный минимум в этом случае мы пойдем обратно по той же дорожке от этой тривиальной игры к шахматам, следя за тем, что происходит с нашим глобальным минимумом по пути. По пути назад будут встречаться и быстро исчезать вырожденные поверхности, например с локальными минимумами, но возможно удастся понять как устроена изначальная поверхность. Чтобы следить как меняется поверхность у нас есть средство в виде траекторий решения простой выпуклой задачи (от разных начальных точек к глобальному минимуму). Весь этот набор траекторий, изначально сходившихся к минимуму будет по пути обратно к шахматам меняться, и позволит что-то понять про изначальную поверхность.

Очередной попкорн для неокрепших умов - искусственный нейрон, искусственная нейронная сеть . Звучит эффектно - не более. Гугл выполняет указание Трампа - Америка должна шуметь как можно больше, а то ее там на острове совсем позабудут.
Нейроном может обладать только белковая сеть, увы или к счастью - это другой вопрос. Если кто не верит , может ударить молотком по этой машине и посмотреть, обучится она или нет.
Машина - это максимум ПРОЦЕССОР, работа которого основана на всем известным свойствах полупроводников. Ну тогда Стокфиш - это тоже нейронная сеть, сколько раз наблюдал как он ''самообучался". Иногда '' не видит'' простых вещей, но когда ткнешь его носом, сразу ''самообучался''.

http://arimaa.com/arimaa/
Создавалась как игра, в которую программы долго не смогут достичь силы игры человека.