AlphaZero. Нейронная сеть играет в шахматы

Врвсе нет,совершенно иначе.Сети наигрывают как можно большее кол-во партий и потом при игре ассоциируют имеющуюся позицию со своим опытом и исходя уже из этого делают ход.То есть просто вспоминают,а не рассуждают.Рассуждают только в плане "как правильнее вспомнить" ведь невозможно пока сыграть все варианты партий,приходится ассоциировать позиции с теми что были наиграны.

Можно,но чем больше партий тем сильнее игра.Конечно не запоминают,ассоциируют,запоминать нет ни смысла ни возможности,ведь мало будет совпадений,ведь любое кол-во наигранных партий это капля в сравнении с возможным кол-вом,но все же,сети таки или иначе но обращаются к своему опыту,то есть вспоминают.

Меня интересует само начало - когда программа вообще не умеет играть. Тогда просто получаеться партий, которые как бы и пользы не дают или там даються какие то указания ?

Или даеться набор партий ?

Ситуация такова что я вот столкнулься с задачой немножко напиминающей именно ту начальную ситуацию и вот обучения не происходит ... по мне кажеться так потому из за слишком большого количества вариантов и не понятно которые линий положительны которые нет .
Все таки сеть должна знать хоть какое то количество позиций к которым нужно стремиться ....

Задаются правила естественно и просто сеть играет сама с собой все лучше и лучше быстро наращивая силу,потом наступает момент остановки набора силы,тогда нужно дико увеличивать мощности тогда снова идет рост силы.Примерно так.

Но учеба то идет от конечной позиций и дойти до нее чтоб оценить - выигрыш/проигрыш можно в инфинити вариантов, и партий в таких игр неумеющий проти неумеющего дляться может сотни ходов...Как то мне непонятно как так сравнительно быстро проходит обучения ???

У меня то проблема может и схожая но другая - у меня не ясен результат - примерно как в покере - достиг результата, что противник вложил все деньги - однако примерно в 40% - ты на этом - проиграл...

Мелкие сети относительно быстро обучаются на не очень выдающемся железе причем,а Аотфа0 обучалась на очень мощном железе.Где-то попадалась инфа сколько именно партий было сыграно ей при обучении.Видимо параллельно проходит множество партий при небольшом времени на ход.

—- добавлено: 14 сен 2020 —-

Benas, Спецы и разработчики тут: https://forchess.ru/showthread.php?t=57&page=410 можно найти много подробных объяснений всего,просто много перелопатить придется.

Спасибо, да там еть интресные рассуждения , примеры, обьяснения....
Я пытаюсь найти зацепку, как создать алгоритм обучения, в ситуаций когда одно и то же решение - н всегда - лучшее. Это например - один и тот же ход в одинаковых позициях - один раз - хороший, другой - нет.

Я помню высказывание одного старого проффессионала по игре го. Когда он мне коментировал мою партию, я спрашивал "вот такой ход - хороший или плохой ?" ...

Ответ мастера был довольно своеобразен, однако очень правильный и такое может быть и в шахматах - "зависит кто такой ход делает, если - проффессионал - отличный ход, а вот если любитель - то крупнейшая ошибка" . На мою удивленную физзиономию - обьяснил - " профессионал знает что делать после него, поэтому ход прекрасный - а вот любитель скорее всего сделает такой ход случайно и не будет знать , что делать потом и результат будет - только хуже "

У меня ситуация немножко - похожая - на результат влияет несколько параметров, однако вес каждого из тех параметров либо неясен, либо - понемножку - меняеться...

Что за алгоритм обучения должен быть в такой ситуаций ?

Может кто то сталкивалься с такой ситуацией ?

Да но тут есть такое что изоляция и там и там обладает одинаковым влиянием на результат, однако , например в покере это не так - то естьскажем та игра которая против игрока А даст +1000 против игрока В даст -1000.
Я дам пример поточьнее в чем проблема -автомобиль А разогналься по дороге до скорости 100км /час - двигатель отключен и автомобиль проехал 700 метров до остановки.
Автомобиль В все проделывал так же, однако остановилься за 600 метров , автомобиль С опять все то же только 800 метров...
Понятно , что на длину проезда влияют - вес автомобиля, покрытие дороги , какие то подшипники, какая то обтекаемость автомобиля , ветер направление и сила , еще что то... словом 5-6 параметров.
Однако выяснить вес каждого параметра - очень трудно.
Если есть один параметр - просто - два тоже довольно просто, но когда их >трех появляеться зверские проблемы. ...
Реально, каждый параметр это как бы слой перцептрона, однако тогда все слои как будто должны принимать тот же сигнал о данных одновременно.

Я не придумал ничего, другого только как перебрать все возможные варианты из загружаемых данных и выбрать лучшую комбинацию. Однако это очень уждалеко от какого либо интелекта...
Работает медленно вес параметров определяеться вяло...


Если количество проб было бы тысячи

Только опыт,количество сыгранных партий,а если АВ движок,то уточнение оценки позиции,понимание что лучше,что хуже и почему и в какой ситуации и к чему что приведет,то есть плюс просчет последствий.Я предлагал некоторые параметры программы влияющие на оценку сделать рандомными либо больше рандомными чтобы оценка плавала и жестче фиксировалась после побед.

Я пытаюсь найти кто делал и обучал какую то простую сеть, с несколькими параметрами влияющими на решение, когда вес каждого параметра не ясен и кто провел обучение нейросети успешно.
Делал управление для дронов, то там неюыло особых проблем хотя и условия менялись. Влияние каждого параметра хоть и менялось но не менялось кардинально
А вот когда есть параметры которые влияют как бы случайнопри том могут влиять и в плюс и в минус - не совсем понятно как делать...
А оценка параметров и есть случучайной на старте - в процессе учебы и пытаемься выяснить зависимость результата от оценки...

В действительности, мощности, необходимые для минимально возможного функционирования нейронной сети просто чудовищны. Сейчас будет небольшой блок воспоминаний.

В конце 80-ых нейронные сети были невероятно популярны, считалось, что удастся создать единый алгоритм, который будет блестяще играть во все пошаговые стратегии. Эвристики считались шулерским приемом, т.к. привлекают экспертную оценку (типа: ферзь - 9 пешек, лишний материал - хорошо и т.п.), а квалификация эксперта a priori не известна. Однако уже на шахматах универсальный алгоритм оказался на редкость беспомощным, его действия по виду не отличались от генератора случайных ходов. Техника тогда была на 286-ых процессорах, иногда вообще XT. Конечно, 32-битные машины были, но они вытягивали графические игры, так что на бессмысленные развлечения вроде ИИ тратить эти ресурсы казалось кощунством.

Но самый ужас начался, когда стало ясно, что объяснение правил - уже экспертная подсказка. Нейронная сеть должна сама сориентироваться, куда разрешено ходить, а куда нельзя. Невозможный ход штрафовался поражением. Миллионы попыток модифицировать начальную позицию оказывались нелегальными. Даже после вынужденной "подсказки", что в изменении позиции могут участвовать только две боевые единицы: своя (допускается преобразование) и противника (может исчезнуть), все партии заканчивались на первом ходу, почти всегда - победой черных. Естественно, идея использовать чужие партии противоречила кодексу чести.

P.S. Сейчас день программиста по понятным причинам отмечается 13(12) сентября, а в те времена он падал на 22 апреля, и отнюдь не из-за дня рождения вождя мирового пролетариата. Просто код специальности у параллельной группы, которая мучилась с шахматами на нейронных сетях, был 22.04. Точнее, это "Программное обеспечение автоматизированных систем и вычислительной техники", а конкретно нейронные сети имели, если не ошибаюсь, кодировку 22.04.02.

Некто "Сергио" сам обучает сети для nn SF: https://www.comp.nus.edu.sg/~sergio-v/nnue/
Но не знаю как с ним связаться.

Владимир Крамник:

https://www.gipsyteam.ru/news/7158-vladimir-kramnik-istoriya-kompyutera-v-shahmatah

Так это же "решить шахматы" а это вроде только полный перебор, который пока недоступен.

Судя по суперфиналам TCEC, движки в финале почти не проигрывают, даже начиная с несбалансированных позиций.

почти - это не предел. если в 1000 матчах даже 1 проигрыш будет, он все же будет.

Если подобрать дебютную книжку, контроль времени побольше и железо посильнее, то не факт, что будет

Все это нивелируется и обыгрывается более продвинутой книгой, временем еще больше и еще более мощным компом, пусть и через некоторое время. А это значит, что как бы ты ни был близко к пределу, пока его не достиг. В каждой позиции должен быть самый лучший ход (в шахматах может быть не один) раз пока есть проигрыши, то такой ход не найден.

Как ни странно, но хорошая аналогия про компьютеры, это игра людей. 100 лет назад играли сильнее, чем 200, 50 лет назад сильнее чем 100, а сейчас играют сильнее чем 50 лет назад. Современный гросс в силу накопленных знаний (как раз аналогия с дебютной книгой у компа) обыграл бы гросса середины 20-го века. Но друг другу так и не перестанут проигрывать, как бы сильно не играли. И тоже самое будет и через 50 лет и дальше. И даже если внезапно люди заиграют безошибочно но или постоянно вничью, то придумают изменения в правила.

Не знаю, не уверен... Слишком велики ничейные тенденции

Не совсем верно, как мне кажется. Да и какой ход считать самым лучшим? Это может зависеть не только от позиции, а и от противника.

Все ходы в позиции можно разделить на те, которые при лучшей игре ведут к победе, ничьей или к поражению. Если множество ходов, ведущих к выигрышу не пусто, выбираем любой из них. Если выигрышных ходов нет, выбираем любой, который ведёт к ничьей, иначе, выбираем вообще любой.

Это был самый незамысловатый путь для "идеального игрока". Если же играть на победу в ничейной позиции, или на ничейный исход или победу в проигрышной, нам, для увеличения шансов на улучшение результата, надо пытаться запутать "неидеального противника", чтобы он ошибся. Например, из всех ничейных ходов выбрать тот, который ведёт к максимальным осложнениям. А порой, из турнирных соображений, если устраивает только победа, можно выбрать и проигрывающий ход, но максимально усложняющий игру для, повторюсь, "неидеального противника".
Как мог "идеальный игрок" попасть в проигрышную позицию мы не рассматриваем, т.к. партия могла начинаться не из классической начальной позиции, для которой мы пока тоже точно не знаем не выигрышна ли она за белых.
Но как определить уровень сложности для позиций, чтобы запутывать "неидеального противника"? Представить на какую он глубину просчитывает, промоделировать его рассуждения и увидеть где он имеет больше всего шансов допустить ошибку? Но как это сделать?
Да и кто его знает насколько глубоко надо считать, чтобы никогда не проигрывать "идеальному игроку"? Не зря же замечено, что

Какую глубину достаточно осилить при разумном отсечении вариантов, чтобы избежать ошибок, ухудшающих максимально достижимый результат?
Тысячу ходов? Две тысячи? Или десять тысяч? Да и какой алгоритм отсечения вариантов выбрать?

От противника не зависит. Ход зависит от позиции и в каждый момент есть этот лучший ход. Лучший он по критериям приоритетной задачи "победить/не проиграть/затянуть время максимально"

В проигранной позиции, когда ближайший мат в 500+ ходов совершенно очевидно, что надо выбирать именно тот ход, который приведет к мату в 500+ ходов а не в 1. Всегда есть лучший ход, а когда их несколько, то это значит, что число ходов до конечного результата одинаково (например два хода ведут к мату в 1 ход - оба лучшие)

Если выигрыша нет, то нельзя на него играть, скажем так, компьютеры этому не научены. Если ничья, то лучший ход - ведущий к этой ничьей. Если комп будет пытаться выиграть, то он обязан сделать ход (хитрый), который приведет к ухудшению позиции относительно ничьей, а значит к проигрышу, в надежде, что противник ошибется, запутается и твой ноль, превратившийся в минус внезапно станет твоим плюсом. Практика, как я предполагаю, подтверждает, что обманывать противника не выйдет всегда, научатся. А значит эти хитрые ходы будут вместо ничьей приводить к проигрышу.

Самая длинная партия 5000+ ходов, так что 5000 глубины хватит.


.

Крестики-нолики, какой лучший первый ход?

—- добавлено: 30 окт 2020 —-

Моё ламерское мнение, что какая-нить дебютная книга на основе ферзевого гамбита, русской партии с тенденциями к открытой игре при depth в районе 50-ти и выше плюс отрицательное презрение вполне будут достаточны для достижения ничейного результата против бога.

В центр

О чем это говорит? Просто о том, что лучший ход не один, но делать всегда надо какой-то один. В шахматах тоже бывает, что любой ход ведет к ничьей. А сколько этих самых лучших ходов - неважно. Так что весь этот пример с крестиками ноликами ни о чем.

Crest, у меня к Вам вопрос как к профессионалу шахмат. У нас со Strat7 возникли разногласия по поводу того, есть ли смысл учитывать противника при выборе хода или нет, и можно ли в ничейной позиции делать не лучший ход, чтобы увеличить шанс на победу?
Собственно из этого два прямых вопроса к Вам:
1 .Вы в своей практике (классические шахматы, Вы на пике формы) учитывали стиль игры, неудобные для противника позиции при выборе хода?
2. Приходилось ли Вам осознанно рисковать в ничейной позиции, делая не лучший ход, чтобы увеличить шанс на победу?

Если вернуться к тому сообщению, с которого началось все это, то

речь идет об идеальном игроке и с чего тут пошла тема про ошибки, которые присущи живым шахматистам, их вероятность и так далее - непонятно. Обсуждалось совершенно не это.

Так что - если играть идеально в шахматы, то вероятно, что по правилам будет ничья при идеальной игре с обоих сторон. Сейчас пока между компами иногда они проигрывают, а значит идеала нет.
Любые рассуждения "а я вот так схожусь и кто-то ошибется" ни о чем.

А что такое идеальный игрок? Есть разные уровни идеальности.
Простой пример - таблицы Налимова или им подобные на 32 фигуры, хотя бы для легальных позиций (т.е. тех, которые могут получиться из начальной). Но это будет всезнайка и максимально идеальный игрок. Но ведь наверняка можно сильно ослабить условия "всезнайства", оставив, например, таблицу фигур до 24. Вот не стало на доске 8 фигур, дальше уже всё известно по табличкам. Т.е. пусть он изначально знает и не всё, но гарантированно может найти ход, не ухудшающий результат.

Это лишь Ваше мнение ни чем не большее моего.
Один движок просчитывает на 100 ходов вперёд, другой - на 1000.
Второй знает примерную глубину просчёта позиции первым движком.
Позиция ничейна. Второй движок рассматривает ничейные ходы и там ответы противника просты и понятны, нет перспектив запутать. Тогда рассматривает проигрывающие ходы, выигрыш в которых виден только через 500 ходов, а до этого велика вероятность, что при менее глубоком просчёте противник допустит ошибку и на тонких нюансах можно будет его победить. Надо ли рисковать при этом, понимая, что шансы противника ошибиться сильно увеличиваются? А почему бы и не рискнуть? Ведь задача победить и набрать в матче, например, больше очков.