Статья Власова о ерейтинге++

Кто не читает "старую добрую" тему, даю ссылку

http://rsport.netorn.ru/theory/ACP/vlas2.htm

Проблема, между прочим, интересная и Власов прав, стоит все же сесть и подумать, а есть ли что-то более справедливое чем очковая система и почему. Я вот думал, но никак не успеваю закончить. И статья эта меня подстегивает думать дальше. Вообще-то интересно и я с ней в принципе согласен.

У кого какие мнения на счет статьи Николая мм Власова?

Я не смог понять плодотворную идею. Отдохну, перечту, и все же вряд ли сумею. Видно лишь, что это вброшенная шайба в зону. Без выводов и конкретных идей.
Не серчай, Коля, но из твоей статьи замопнилось прежде всего обилие фраз "стоит пытаться решить", "надо найти" и "Пусть математики проверяют".
Заменяем очки деньгами? Расплачиваемся после каждой партии, а не в конце турнира? Все определяем букмекерскими ставками? Это лишь способ материализовать очки и половинки, сделать их нагляднее. С математической точки зрения все это лишь суета.
Нет. Пока не въехал. Не вижу плодотворной идеи. Пусть люди поумнее разъяснят.

e271, у вас есть программа для рассчёта Е-рейтинга по базе партий в формате PGN? Если есть программа то я посчитаю на своих базах и попробую подумать имеет ли е-рейтинг смысл. Пока что мы считаем рейтинги программой Bayeselo, основанной на уточнённой формуле ELO.

Предложение серьезное Боюсь, что программы у Е нету для расчета прямо из базы pgn.

Сорри, у меня нет времени на реализацию чьих-то идей когда там много своих нереализованных идей.

Это, в общем случае, неверно. Статистика Эло - это всё что основано на формуле предсказания результата: Sa = 1 / ( 1 + 1 / 10 ** ((Rb-Ra)/400) ). Здесь Sa - вероятный счёт игрока "a" в матче с игроком "b", Ra и Rb - рейтинги игроков "a" и "b". Гипотеза Эло - в том что принципиально можно описать силу игрока одним числом - рейтингом, и предсказывать результаты исходя из разности рейтингов. Далее, было изобретено несколько практических методов вычисления рейтингов, так чтобы эти рейтинги позволяли предсказывать результат по приведённой формуле.

Есть методы вычисления рейтингов учитывающие время и допускающие изменение силы игры от времени, это для людей. Для компьютеров, которые обычно не меняют силу игры от времени, используются методы где порядок партий неважен. Например популярная программа ELOstat считает рейтинги для базы партий по обратной формуле Эло (обратной к вышеприведённой) итеративно, до сходимости системы. Теоретически для ELOstat неважен порядок партий в базе. Bayeselo использует несколько изменённую формулу, где включены вероятность ничьей и преимущество белого цвета. Алгоритм Bayeselo пытается максимизировать вероятность того что предсказание результата по формуле будет верно, для данной базы партий. Это мне кажется верный ход мысли (хотя я ещё не вник в алгоритм). Рейтинги Bayeselo существенно достовернее чем ELOstat, на нашем опыте (мы проводим турниры программ), и тоже не зависят от порядка партий.

Так вот.. Рейтинги Эло имеют чётко определённый смысл (приведённая формула), и несколько способов вычисления, в зависимости от условий и задач. Рейтинги Эло позволяют довольно точно предсказывать результат матча, по крайней мере для матчей программ. Тому кто хочет заменить рейтинги Эло на что-то другое придётся доказать что предсказания нового рейтинга точнее чем предсказания основанные на Эло рейтинге. На страничках Е-рейтинга много слов и рассуждений, но я не смог найти ответа на этот вопрос: Точнее ли предсказания Е-рейтинга, и если да то как это можно доказать?

Почитал немного, там всё чуть сложнее. Гипотеза Эло говорит также что результат партии - нормально распределённая случайная величина. Это я не учёл. Так что у старика Эло всё просчитано.

Ну, это вы - изобретатель. На вас и ответственость доказывать что ваш новый метод лучше старого. Только не надо говорить что всё очевидно и приводить пример турнира. Один пример будет за другой против, на одном-двух примерах ничего не доказывается.

Я тоже не уверен. Попробую посчитать как нибудь. Дело в том что я сейчас не использую ELOstat, а использую Bayeselo, которому точно безразличен порядок партий.

Да, будет интересно посмотреть. Наша текущая база партий доступна здесь: http://computerchess.org.uk/ccrl/4040/ (обновление - каждую субботу). Попробуйте скачать базу (прямая ссылка на файл) и посчитать, если вам не сложно. Будет очень интересно посмотреть что получится. Хотя скажу что это не заменит для меня программу, так как хочется погонять на разных предельных случаях и посмотреть какие будут получаться рейтинги.

Вот здесь уже интересно. Я пока что не пришёл к выводу какой наилучший способ оценить качество рейтингов. Пока что наилучший известный мне способ - примерно такой: База партий разбивается на две половины, поровну, случайным образом. Рейтинги считаются по одной половине, потом смотрится насколько точно эти рейтинги предсказывают результаты из другой половины. Эксперимент повторяется раз 10000.

Способ описанный по вашей ссылке мне не нравится тем что там учитывается "Важность ошибки", то есть этот способ будет высоко ценить рейтинги которые хорошо считают верх таблицы в ущерб точности в середине и внизу таблицы. Мне например не менее важно точно узнать кто на 19-м месте и кто на 20-м.

Речь шла не о матче двух людей, а о программе для рассчёта рейтингов ELOstat, которая по идее не зависит от порядка партий. Эта программа популярна для оценки рейтингов шахматных программ, так как программы не меняют силу игры от времени.

Мы проводим матчи из 30 партий, это слишком мало для для хорошего прогноза. В 30 играх может случиться что угодно, результат в +100 ЭЛО по одному матчу - не редкость. К тому же бывает что несколько программ очень близки по силе - в таком случае чтобы быть уверенным какая из них сильнее надо проводить матчи из нескольких сотен партий. Вобщем всё не так просто. Есть ещё "искажения" рейтингов вызванные клонами и версиями одной и той же программы.

Да, хочется прежде всего выделить линейку программ. Просто точность прогноза - это, мне кажется, единственный объективный критерий качества ранжирования. Иначе получается замкнутая петля - рейтинг строим по некоторому принципу, потом по нему же вычисляем что рейтинг правильный..

У меня есть одна претензия к Е-рейтингу - у него линейная шкала, в отличие от логарифмической шкалы Эло. (Или наоборот?) Е-рейтинги нужно делить чтобы понять насколько один сильнее другого, Эло-рейтинги - вычитать. Вычитать гораздо приятнее, так как это более наглядно, и не страдает точность представления из-за большого диапазона.

Например: Имеем результаты: A - B: 3-1, B - C: 3-1, C - D: 3-1. По E-рейтингу получим рейтинои вроде 27 - 9 - 3 - 1 (если я правильно понял). По Эло-рейтингу - что-то вроде 1800 - 1600 - 1400 - 1200. Эта шкала гораздо удобнее для восприятия, и вычитать/прибавлять проще чем делить/умножать.

У меня появилась мысль.. что если логарифмировать ваши рейтинги, и умножить на коэффициэнт. Теоретически должно получиться что-то вроде Эло? Было бы интересно сравнить логарифмы ваших рейтингов, с рейтингами например ELOstat и Bayeselo.

Ещё один момент - ваш основной аргумент в пользу Е-рейтинга, как я понял, заключается в том что это лучше чем абсолютные очки. Ну, здесь ведь тоже можно использовать ELOstat или Bayeselo для получения более точных оценок, с учётом того кто с кем играл и т.д.. Bayeselo учитывает даже преимущество белого цвета и вероятность ничьей. Надо будет более подробно исследовать как отличаются рейтинги полученные этими программами от Е-рейтингов.

Да, правильная длина тестовых матчей - загадочная область... В последнее время часто почему-то наблюдаю такой сценарий: первые 5-6 партий выигрывает один движок, затем второй отыгрывается со счёта, скажем, 0-6 - до 6-6, подряд Затем начинается равная борьба, победы чередуются

Как по матрице понять кто победил? Надо преобразовать матрицу в линейку. Как проверить что линейка - правильная? Только точностью прогноза по этой линейке, а не по матрице. По-моему так.

В базовой формуле Эло нет эмпирических коэффициэнтов. Хотя их и легко ввести при желании. Если вы про число 400 - то это просто для определения шкалы, в результате счёт 3 - 1 даёт примерно 200 очков разницы. Качество самих рейтингов от этого числа не зависит.

Логарифмирование и коэффициэнт - это всего лишь перевод из одной шкалы в другую, более удобную. Информация не теряется.

Мне почему-то легче произвести вычитание в уме чем деление. Осообенно если там не делится нацело.

Более правильный чем абсолютные очки? Здесь я согласен. Более правильный по сравнению с существующими способами оценки Эло рейтингов по набору партий? Вот это мне совсем неочевидно.

Я согласен насчёт абсолютных очков. Но Е-рейтинг - не единственное решение проблемы. И не факт что лучшее решение, пока что. Как я уже говорил, есть методы ELOstat и Bayeselo, которые в принципе решают ту же проблему что и Е-рейтинг. Кроме того эти методы получают привычные вем нам Эло-рейтинги, а не странные числа которые нужно делить в уме.