Философские проблемы ранжирования

Из линки ojr:=1.0/(1.0+exp(ln(10.0)*r/(-400.0)));

В отличие от Эло Ваша функция нелинейна в районе равных рейтингов (r~=0).

Нелинейность особенно сильно влияет на разницу в поведении рейтингов при пересчете после каждой партии и после турнира. Ср. f(x1+x2+...) и f(x1)+f(x2)+...

Мне Ваш численный эксперимент не кажется убедительным, но спорить не буду. Откуда формула взялась мне примерно ясно.

Вот выйдет e271 из бани ....

Я не хочу. Sorry. Считаю сравнивать игроков разных эпох бессмысленным при любой методике.

Да вы что? У меня именно ojr:=1.0/(1.0+exp(ln(10.0)*r/(-400.0))); и используется. К этой формуле у меня претензий нет, и как она получена мне понятна, и я полностью с ней согласен. Это формула ЭЛО!
10^(r/-400)=exp(ln(10.0)*r/(-400.0)), я надеюсь что это не надо доказывать?

Нет , не нужно Спасибо.
Не поленился - проверил ojr на Excel - расхождение от таблиц найденных в инете <=0.5% . У варианта с erf порядка <=1% . Видимо Ваш источник был ближе к оригиналу Возражение снимается.

Е-рейтинги - это собственные рейтинги игроков какого-либо турнира (матча). В простейшем случае (матч) - это отношение набранных игроками очков. Характеризуют соотношение сил игроков по результатам обсчитанного турнира. Отношение силы игроков эквивалентно ожидаемому результату игры между ними.

Для людей е-рейтинги вряд ли позволяют оценивать динамику силы игры, поскольку нет объективной базы для связи е-рейтингов одного турнира с другим. Для сравнения игроков разных эпох правильнее ИМХО использовать приведенную выше формулу (Magin). Она проста, логична и понятна. Можно поиграться различными k, чтобы оценить, насколько велико его влияние на конечный результат.

А вот для оценки силы шахматных программ собственные рейтинги как раз будут наиболее объективны (сила программ не зависит от времени). Если нам надо наиболее объективно оценить прирост силы программы, то надо:
1) Провести турнир с участием исходной версии данной программы с другими программами (сравнения). По результатам рассчитать е-рейтинги.
2) Провести такой же турнир с участием обновленной версии программы, не меняя состав соперников. Снова рассчитать е-рейтинги.
При статистически значимой выборке должен измениться е-рейтинг только новой версии (сила остальных программ осталась той же). Его отношение к е-рейтингу исходной версии и будет оценкой прибавки силы (по шкале R).

Я считаю рейтинги Эло методом наибольшего правдоподобия (вместе с доверительными интервалами), чем это хуже е-рейтинга?
Зачем мне проводить турнир не меняя соперников? Зачем мне вообще непонятные ограничения е-рейтинга, который на самом деле является немного модифицированным коэффициентом Бергера?

Уважаемый NS, я честно говоря, ждал, что по поводу е-рейтинга Вам ответит сам автор.
Но поскольку он только что вышел из бани ( непонятно почему на такой долгий срок), и, видимо, не может определиться, какое именно Ваше высказывание прокомментировать , выскажу лишь свое личное мнение.
Я уже высказывал мнение, что для краткосрочных прогнозов

Для других вариантов, в.т.ч. сравнения силы участников, е-рейтинг, IMHO, мало пригоден. А именно - предположение о том, что отношение рейтингов пропорционально отношению набранных очков, если и применимо, то не к шахматам. ( Ничего не могу сказать по поводу американской студенческой лиги)
Достаточно вспомнить классические результаты - Алехин сыграл вничью с Видмаром и с потерей этого 1/2 разделил с ним первое место. Хосе Рауль сразу после турнира шлепнул второго призера Костича 5:0 ( неужели так сила игроков изменилась? - Нет, просто матч - это не турнирчик, и даже не супертурнирчик ) И потом, опять же шлепнул в матче победителя турнира Эйве, хотя и в более сложной борьбе.
Слишком примитивна исходная формула е-рейтинга, не учитывающая особенности шахмат, как спорта.
Ну а по поводу самой формулы Эло и подхода - dR=f(...) .....
Стратегически она правильна. Варианты f могут подлежать обсуждению, но вот надо ли? Кто жалуется, что именно формула испортила жизнь?

По-моему, слишком суровый вывод.

Во-первых, как я уже отметил выше, е-рейтинг представляется мне наиболее уместным и адекватным способом оценки сравнительной силы шахматных программ. Поскольку резкие перепады силы игры для одной и той же версии программы маловероятны.

Во-вторых, е-рейтинг можно использовать для начального присваивания рейтинга новым игрокам. Первоначально мы оцениваем силу игрока на основании его результатов с другими игроками, рейтинг которых известен.

Ну и наконец третье, которое связано со вторым. Принципиально понятно, как можно правильно сравнить (оценить) силу игроков прошлого с настоящими. Алгоритм следующий:
1. Поскольку изначально рейтинги неизвестны, то обсчитывается первый (по хронологии) турнир (матч) и игрокам присваиваются е-рейтинги. Это база для всех остальных расчетов.
2. При дальнейших обсчетах турниров (матчей) с участием рейтингованных игроков считается только изменение их рейтинга на основе предложенной выше формулы (dRi = k*(...)).
3. Если в турнире участвуют новые лица (без рейтинга), то по результатам турнира им присваивается начальный рейтинг (е-рейтинг).
Рейтинг остальных игроков не получает приращения от рейтинга новичков (что выглядит логичным).
4. В итоге получаем временные функции рейтинга игроков Ri(t), на основе которых можно делать какие-то выводы... Можно пересчитать данные функции для различных коэффициентов релаксации k, чтобы проверить устойчивость результатов.

Если у кого-то есть база данных результатов всех турниров в каком-либо открытом формате - то соответствующую обработку написать несложно.

Я думаю, Вы правы в отношении плотных турниров, с примерно равным составом ( в т.ч. и программ). Но пример Хосе Рауля и Костича, IMHO, тоже показателен. Т.е scope применения е-рейтинга недостаточно широк.

Ребята, вообще то тред не про е-рейтинг и Эло. Это просто здесь оффтоп. Уважаемые модераторы, может вы куда-нибудь перенесете эту дискуссию математиков ...

А некоторых хлебом не корми дай побездельничать!

Друзья! Пред вами вовсе не нежданно
Крест превратился в Чемодана
Любой Админ из здешних мест
Иль чемодан иль тот же крест !
Одна у внех у них натура -
Фоменко иль поп арт культура

1

1

Не знаю теперь, в какой ветке рейтингование обсуждать, чтоб енотов не рассердить . Они-то все ответы давно знают.
Ладно, пока не выгонят, буду постить сюда.

В инете где-то встречал статью о том, сколько статистического Эло дает белый цвет.
Думаю, для сбора статистики правильнее использовать компьютерные программы, Эло которых выше гроссмейстерского. Их сила мало зависит от внешних факторов, поэтому статистика будет более достоверной (объективной). Программа А играет с программой Б матч из N партий сначала белым цветом, а потом черным. На основании результатов матчей можно оценить отклонение Wij (Wji) от 0 и 1.

Для простоты можно (нужно) принять, что выиграть белыми настолько же легче, насколько и сделать ничью - если W(победа белых) = 0.9, то W(ничья белых) = 0.45. То есть,

W(ничья белых) = 1/2 * W(победа белых).

Похоже также, что инвариант (Wij + Wji = 1) при учете неравности условий придется нарушить, поскольку странно выглядит начисление очков рейтинга черным за поражение. То есть при победе белых или ничьей Wij + Wji < 1. (В принципе можно и наоборот - давать доп. бонус черным за победу или ничью).

Как правильно оценить влияние цвета на основании статистики?
Пусть результат белого матча программ А-Б: 65/35, а результат черного - 55/45.

Нам надо найти значение корректировки результатов белых V. Для этого следует использовать тождество:

65*V/35 = 55/45*V. (для белого матча мы уценяем результат А, а для черного - результат Б).

V - это и есть стоимость очков белых. В нашем примере получаем: V = W(победа белых) = 0.811. То влияние цвета довольно значительно.

Интересно, что при этом отношение итоговых рейтингов программ не равно (65+55)/(35+45)=3/2, как можно было бы этого ожидать. Правильное отношение рейтингов - R(А)/R(Б) = 65*V/35 = 55/45*V = 1.507.

Ага. .

Вообще, понятие "как справедливее" с трудом отделимо от вопроса "для чего".
И поскольку в данной ветке упоминалось, что цели могут быть разные, методы соответственно разные, то и вопрос о справедливости слишком абстрактен. Тем не менее Е-нот все-таки хочет получить на него ответ.
Попробую ответить тоже здесь (пусть в другой ветке будут только правильные ответы ).

Вопросы Е-нота, видимо, следует понимать (хотя точно знает только автор) в применении к соревнованиям как: должны ли мы давать бонус за (по-разному оценивать) победу над более сильным соперником, победу достигнутую в менее благоприятных условиях и т.д.
Очень упрощенно - должны ли люди использовать е-рейтинг или и так сойдет.

Если не принимать в учет конкретику, то рискну заметить, что видимо все зависит от того, насколько сдвиг мат.ожиданий результатов (рангов участников) полученных в результате использования е-рейтинга по совокупности соревнований соотносится с дисперсией оных же.
( Не исключено однако, что существуют исследования бонусов применения ректального термометра вместо обычного для выяснения средней температуры по больнице, включая морг )

В применении к шахматам это значит, что мне представляется маловероятным, что если гроссмейстер А набирает в среднем несколько больше очков, чем гр. В, хотя и переменным успехом, и имеет несколько больший рейтинг Эло чем В, то существует методика, которая стабильно ставит В выше А, оставаясь при этом понятной народу , если перепады игры гроссмейстеров невелики.

При наличии изрядной дисперсии (как в упомянутом е-нотом примере с Ивановым и ко) сравнение методов ранжирования участников кажется несколько надуманным.
Да и, если честно, народ в шахматах, IMHO, не интересует проблема сравнения 17 и 18 игроков мира по классу и результатам. А оценки сравнения 2 и 3 номеров часто носят эмоциональный характер, далекий от логики
Вот проблема выяснения первого - это да - народу она интересна.
Но для этого есть Матч!

Отстаньте от е-рейтинга. Спросите себя много ли разбирающихся в электронных секундомерах. Не про ще ли использовать простой ручной секундомер? И кого интересует разница в 0,01 на 30 км лыжной гонке. Причем с раздельным стартом

Но для этого есть Матч! Следуя вашей же логике матч вообще ничего не определяет поскольку один из участников только что развелся с женой А второй ударился об угол дома головой (помните ваши остроумные примеры по поводу счета 8-2 10-0 и тд и тп? ) Вот мне захотелось следовать Вашему примеру... В результате матч определит только более сильного в данных временных условиях и все.
Если же мы говорим о чемпионе за (на) период то не логичнее ли учесть все результаты за этот период?

Конечно Вы сейчас перейдете на зрелищность и тд и тп. Я тоже так умею..

ЗЫ Повторюсь последовательный алгоритм Эло не годиться для распределения призового фонда в самом общем смысле поскольку он по необходимости использует какие-то результаты ВНЕ оцениваемого промежутка времени. Вы выиграли по лотерее 1000000 а в кассе вам говорят получите 1000 и скажите спасибо. Раньше вы вообще ничего не выигрывали.

Это уж потом при достаточной статистике можно говорить о МО. Значала надо заплатить ЗА ПРОДЕЛАННУЮ работу. В этом турнире. В этой серии турниров. За этот чемпионский цикл.

Я что-то другое сказал?

Да и не приходилось мне играть в турнирах, где призы зависели от Эло, кроме как спец.приз лучшему перворазряднику

1. Возвращаясь к вопросу сравнения рейтинговых моделей, показалось любопытным сравнение в рамках квазистатической модели, где рейтинги изменяются достаточно слабо по сравнению с числом сыгранных партий. Т.е все игроки в меру стабильны, и текущий рейтинг быстро приходит к перфомансу - P.
Это не вполне адекватная модель, но может быть полезной с точки зрения предельных случаев ( Magin уже рассматривал этот вопрос - http://kasparovchess.crestbook.com/viewpoll.php?pid=142078#p142078 )

Думаю, что все нижесказанное давно известно автору е-рейтинга, но добавлю исключительно для полноты картины.

Предполагая по-прежнему общим видом функции модели изменения рейтинга
dRij = f(Rij, Wij) x k(....) * dt; (1V)
это формально это означает, что мы должны положить dRij=0.
Функцию f из уравнения f(Rij, Wij) x k(....) =0 представим в виде

Pi=F(Wij, Rj); (3V)

И рассмотрим ее зависимость от Wij, где Wij E [0,1]. ( E - принадлежит)
Сразу отметим общие предположения:
а) dF/dWij >0 на интервале (частная производная)
b) F(1/2, Rj) = Rj ; т.е перфоманс на 50% равен ср. рейтингу соперников
c) F(1, Rj) = Rmax или oo (oo - бесконечность); Если всегда 100%.
d) F(0, Rj) = Rmin или -оо. Это если всегда набирать 0%. Здесь особой разницы нет, поскольку это практически означает -шкала логарифмическая или обычная

Имеем для формулы Magin'a
dLij = k * (Wij*exp(Lj - Li) - Wji); (е)
Pi = Lj+ln(Wij/(1-Wij)) (4V)

Для правильной формулы Эло, любезно указанной NS
(вариант для функции Эло на базе erf, взятый мной из другого источника, близок и отдельно не рассматривается)
dRij = k* (Wij - 1/(1+10^(Rij/-400))) (NS)
Pi = Rj + (-400)*log10(1/Wij - 1) (5V)

Как и ожидалось, обсуждавшиеся варианты f ( а следовательно и F), имеют похожую асимптотику
для обоих случаев - F(0, Rj) = -oo , F(1/2, Rj) = Rj , F(1, Rj) = oo, совпадающую с ожиданиями.
Соответственно можно предположить, что в приближении перфоманса особой разницы между подходами нет, и возможны лишь отличия, связанные с динамикой рейтингов.

А теперь

Если приглядеться, то эта формула полностью попадает под наше предположение об общем виде перфомансной функции (3V) и сводится к
Pi = Rj * Wij / (1-Wij)
Имеем Pi=Rj при Wij=1/2, P = oo при 100% и P=0 при 0%. Логарифм сводит это к выше рассмотренному (функция Magin'a)

Т.е e-рейтинг есть изначально перфомансная модель, в отличие от упомянутых инкрементальных, имеющая однако аналогичную асимптотику.

Вывод: Если брюнет играет сильнее блондина, то никакие е-рейтинги не помогут, если усиленно не тренироваться

Это все здорово, но разговаривая на этом языке мы так и останемся узким кругом настоящих революционеров которые страшно далеки от народа ... А надо чтобы народ нутром понял, что земля круглая. Потому и постоянно ухожу от "Pi = Rj + (-400)*log10(1/Wij - 1)" "ассимптотик" и тд и тп.

А надо решить понятными методами простую задачу кому и сколько кусков пирога точно приходиться ПО ПОНЯТИЯМ
А понятия такие если нас двое и мы сыграли 10 партий 6-4, а приз - спонсорская халява 1000 то 600 получит один 400 другой. Именно этот вариант приводит к математическому ожиданию и другим стат штучкам. Именно он воспринимается как интуитивно справедливый. А вовсе не "как договорились"

Здесь мы не рассматриваем проблему формирования приза. Если у нас нет спонсора, но мы желаем чтобы "значимость" матча сохранялась, то надо чтоббы.
1. Участники делали ставки на игру по 100.
2. Победитель забирает ставку побежденного
При счете 6-4 победитель получает 200 побежденный теряет 200

А вот теперь ключевая задача. три участника 6-4 8-2 10-0 Вопрос КАК справедливо разделить приз и как справедливо сформировать приз

И даже неважно кто с кем как сыграл. Важно справедливо распределить исходя из вышесказанного
При этом
Если A B 6 4 B C 8-2 то при распределени приза ПО УРОВНЮ справедливо куски разделить 6-4-1 а если по "проделанной работе то 6-8-1 (B работал вдвое больше)

Матч A C (10 0) или (0-10) или (5 5) путает всю картину и надо справедливо разрулить

Этот матч по понятиям должен закончиться 6-1 тогда базара нет Ну и тд


А проблема предсказания - это второй важности проблема. Ведь на короткий период мы для предсказаний можем использовати и данный перформанс. Есть простой вариант использовать для результатов партий экспоненту по времени. Но это уже Эло образная эмпирика

Соответственно, E-not - не принадлежит.

Честно говоря, я не все понял, но с выводами согласен . А определение перфоманса какое?

Это тот рейтинг, который должен быть у человека, чтобы при данном результате dRij =0.

Я не уверен, что правильно понимаю беспокойство Енота, поэтому порассуждаю .
Существует ли понятие "справедливое распределение призового фонда" (СРПФ)? И какое оно должно быть?

Мне кажется, что принципы СРПФ должны быть заданы извне. А уже потом на основании определения принципов можно решать какие-то задачи.

"Интуитивно справедливый" - все же очень субъективно. А почему собственно при счете 6:4 распределение долей должно быть линейно пропорционально результатам? Почему не квадратично? При квадратичном РПФ в приведенном примере доля первого 6*6=36, доля второго - 4*4=16, первый получает 36*1000/(36+16)=692. Почему это не "интуитивно справедливо"?

Вот если изначально дать определение СРПФ для двух участников, то тогда можно потребовать, чтобы данные принципы выполнялись для N участников. Один из возможных способов - использование е-рейтингов (или их степеней) как долей.

Я посмотрел для Вейка. При линейном использовании е-рейтингов доля победителя (Ароняна) была бы больше доли последнего (Люка) в 2.47 раза. Интересно, это справедливо? (Отношение набранных ими очков - 8/5=1.6).

Справедливым будет любой принцип, с которым согласятся участники,- здесь я присоединяюсь к Vladimirovich'у.

О, а я это е-рейтингом называл:

Или имеется ввиду, что определение е-рейтинга подразумевает определенный вид формулы расчета приращения рейтинга, а определение перфоманса нет?

Я думаю, что мы говорим об одном и том же
Но были несколько разные подходы

Я и имел в виду, что есть две разные модели - инкрементальная (типа Эло и Ваша формула) и перфомансная (типа е-рейтинг).
Определение е-рейтинга НЕ является инкрементальным (формулой приращения) , но при ситуации, когда игроки всегда играют примерно в свою силу, разницы особой нет. Асимптотика та же.
Динамика рейтингов - это отдельный вопрос.
Т.е е-рейтинг, он же перфоманс ( как собственно его и понимают шахматисты) - это решение упомянутой Вами системы при dRi = 0.

Почитал я о перфомансе... Может, они (шахматисты) и понимают его интуитивно так же, но я что-то не уверен...

1. е-рейтинг соревнования (или перфоманс, или не знаю уже как и назвать , пусть будет p-рейтинг - в общем, решение системы для Ri при требовании dRi=0) нельзя посчитать, задав только средний рейтинг соперников и общий результат (как это, похоже, делается - http://www.fide.com/ratings/calculator_rp.phtml). Для правильного (точного) расчета надо задавать всю матрицу результатов участников между собой.

2. p-рейтинг не зависит от ЭЛО вообще - это относительный рейтинг участников данного соревнования. Поэтому бессмысленно сравнивать, чей перфоманс был больше, - Топалова или Таля (http://www.chessbase.com/eventarticle.asp?newsid=2670), не задав какой-либо базовый рейтинг.

3. Короче, сложилось ощущение, что текущая формула оценки перфоманса - это нечто приближенное к p-рейтингу, подогнанное под формулу Эло, которая сама мне кажется довольно подозрительной. Вот и возникают вопросы у людей - http://kasparovchess.crestbook.com/viewtopic.php?id=879.

Интересно, а можно ли более-менее достоверно (20%) проранжировать спортсменов в командных видах спорта профессиональных лиг. Ведь там серьёзные деньги крутятся, не чета шахматам. А клубы зачастую влетают на миллионы.

Можно конечно, но сначала мы должны определить что бы это значило. Допустим Сидоров - левый край первый среди левых краев. Но ведь это в данном окружении - Галкин-центр, Палкин-левый защитник. Даже в нашем лесном волейболе на уровне максимум 1-го разряда и то важно с кем ты играешь потому что по движению рук, положению тела ты интуитивно предсказываешь следующее событие. А у профи это в сто раз важнее.

Что это было??? Где слова Magin-а и где Е-нота??? Сколько лет надо учиться общению в форумах, искусству цитирования чужих постов и выделения текста, чтобы написать такой бред??? - Crest

С удивлением обнаружил, что Вы правы - нет однозначного понимания перфоманса в шахматах
Так в Вики http://en.wikipedia.org/wiki/Elo_rating_system

что представляется не совсем тождественным определению dRi=0, но вероятно близким по значению (надо бы проверить но лень ) .
Фиде калькулятор это все усредняет.

Думаю, что формальное определение через dRi=0 наиболее корректно.

Они понимают перформанст так. Если Иванов до матча имел 2750 и проиграл Петрову 0-16 то рейтинг Ароняна 3500 и не думают о том что Иванов просто ударился об угол дома. А е-рейтинг говорит что ВСЕ РАВНО НЕИЗВЕСТНЫ.
Правда счет 0-16 говорит о том что этот мат вообще играть нельзя он не измеряет соотношени сил

Волейбол не берите в рассчёт. Там и денег нет и особые правила ввиду ротации игроков, ввиду чего после начала розыгрыша очка они меняются местами и т.д.

Вот в хоккее, например, есть 6 типов игроков. На силу игры влияет класс игрока, качество партнёров, манера игры команды, его возраст, подверженность травмам, стоимость и состояние его контракта и т.д.
Команды зачастую выкладывают десятки миллионов за спортсмена, а он перестают играть и ждёт окончания карьеры.

Сейчас в НХЛ интересная ситуация - все команды имеют одинаковое кол-во денег, потолок суммарной зарплаты всех игроков. А сила игры команд всё равно сильно различается.

Нет уж давайте говорить серьезно. Если речь идет о математической модели ранжирования отдельных членов. Хоть волейбол, хоть поло хоть хокей все это одно и тоже.

Интересно. Правда это еще один оффтоп.
Мне кажется, надо считать инкрементные рейтинги команд в целом. А далее (при желании) распределять эти командные инкременты на рейтинги игроков по каким-то критериям.

Интересно, надо ли учитывать при расчете командного рейтинга в хоккее или футболе счет встречи? И если да - то как? Если счет 6:2, то означает ли это, что Wij = 6, а Wji = 2? "Домашние" матчи - как игру белым цветом - можно корректировать.

Кстати, такая же проблема есть и в некомандных видах (теннис, например). Надо учитывать только итоговый результат, результат по сетам, по геймам или вообще считать все розыгрыши?

Magin загляните ко мне на сайт в Мире рейтингов думаю вы найдете ответы на все вопросы...