Мошенничество в шахматах

Я присоединяюсь к предложению. И объявляю о нашей с Владруссом инициативе. Вот здесь: https://kasparovchess.crestbook.com/threads/4979/page-60 Лучше один раз провести матч и проверить практически, чем 100 раз поспорить об этом!

Читеров на чесскоме наверняка много, тут Крамник прав. Но вот только бороться с онлайн-читерством - дело безнадёжное. Если тянуть эту аналогию, то представим себе онлайн-забег, когда каждый выкладывает видео, а дальше борцы с читерством решают, кто выложил честно, а разогнал его на столько-то процентов или подсунул 95 метров вместо стометровки. Или каждый нагружает у себя дома штангу, а борцы с читерством решают, чьи блины надувные, а чьи настоящие. Ну, не взлетит. Зато развяжет руки субъективно настроенным судьям, которые будут банить кого хотят. В онлайн-спорте должна быть определённая толерантность к читерству. Наказывать не слишком многих и не слишком строго. Чесском так и поступает, хотя Крамнику и не нравится.

По деньгам обидно, что онлайн приносит рядовым гроссам больше игры вживую? Ну, что поделать. Дикуль со своими рассказами о рекордах, поставленных дома, тоже более богат и известен, чем какой-нибудь честный штангист, выступающий на официальных оффлайн-соревнованиях. С этим надо жить, ничего не поделаешь.

Лучше бы Крамник сконцентрировался на читерстве в оффлайне. Там есть шанс обеспечить чистоту. Да и по ту сторону баррикад побывал, в качестве обвиняемого во время туалетного скандала. Опыт есть. А онлайн-турниры со всей их нечестностью пускай побуждают организаторов оффлайновых мероприятий повышать призы. И пускай стимулируют шахматистов хорошо играть в оффлайн, поскольку де-факто только это "даёт право" показывать высокие результаты в денежных турнирах того же чесскома и не быть обвинённым в читерстве.

Здравствуйте. Я любитель шахмат, постоянный зритель титульного вторника и специалист по Data Science. Уверен, что говоря о масштабах читерства в онлайн-шахматах, Крамник не преувеличивает и я поддерживаю его стремление бороться с ними. Однако, к методике оценки читеров у меня есть очень критические замечания:

1. с 7 по 10 туры Владимир Борисович (далее ВБ) берет для расчета рейтинга все партии шахматистов, а для расчета 11 тура берет только те партии, в которых у шахматистов сохранились шансы на победу. к чему это приводит? У шахматистов бывают очень разные формы в различные дни, недели, месяцы, форма может зависеть от сна, текущих проблем, состояния здоровья, все это сказывается на игру. Так вот отбирая когда ВБ берет для статистики только те партии, где после 10 тура шахматист еще претендует на призы, он заведомо берет только партии, когда шахматист в отличной форме, и выкидывает партии, где шахматист был не в форме. Конечно же результат 11 тура в этом случае сильно превзойдет средний уровень его игры в остальных турах.

2. Я часто (очень часто) наблюдаю такое явление - когда шахматист не претендует на призы и у него отсутствует мотивация играть на победу, то он быстро соглашается на ничью по согласию соперников. К чему это приводит для топовых шахматистов (а ВБ рассматривает высокорейтинговых шахматистов)? К тому что рейтинг - перформанс в таких партиях будет естественно ниже, чем перформанс в партиях, где шахматист стремится к победе.

3. К, сожалению, ВБ не является независимым экспертом! Он не пытался выяснить: "А есть ли читеры?", он уверен, что они есть, осталось лишь это доказать. Это приводит к необъективности. А он, абсолютно неумышленно, может влиять на результат. (Например, именно ВБ обирал вручную партии 11 тура, которые являются "решающими" для попадания в призы. Согласитесь, это не так очевидно. В каждом турнире призы зависят в том числе от дополнительного показателя (Бухгольц), который не известен до окончания турнира. Какими критериями руководствовался ВБ, когда делил партии на "решающие" и "не решающие"?

4. Параметр который приводит ВБ (Разницу перформанса 11 тура и перформанса (7-10) тура) имеет нормальное распределение даже при абсолютно честной игре. и естественно появятся игроки с большим отклонением от среднего показателя. И это еще не повод сразу назвать их читерами. Средний рост мужчин в России 176 см, Значит ли это, что мужчины ростом от 205 см принимают гормон роста? Конечно же нет! Почему тут мы это делаем? В статистике есть такой метод, как A/B Тестирование. Возьмите результаты большого количества престижных оффлайн-швейцарок и сравните с выборкой титульного вторника . Статистика даст точный ответ! Идентичны они или нет.

5. Ну и на последок - очень малая выборка! Очень малая! 40 швейцарок может и достаточно для среднего рейтинг-перформанса за 7-10 тур, но во всех ли 40 играли 18 шахматистов из таблицы? Конечно нет! А в скольких турнирах эти 18 шахматистов боролись за призы? "Решающих" партий в 11 туре у них было совсем маленькое количество. Как можно считать это РЕПРЕЗЕНТАТИВНЫМ результатом? Подозреваю, что средний показатель за 11 тур у многих рассчитан по 1-3 партиям. (кстати именно так я объясняю отрицательный показатель ВБ в этой метрике, очень мало партий "решающих" в 11 туре, так как он не часто играл в титульный вторник).

Я не оправдываю читеров, но я очень переживаю за несправедливо обвиненных в этом грязном деле. Спасибо за внимание.

Он вроде эту тему тоже затронул, ближе к концу 1:30:00. Особенно интересно 1:30-1:36. Крамник и Фируджа - вечные лузеры решающих денежных партий.

Даже если бы у Крамника всё было правильно, методика бы на 100% выявляла читеров и не трогала бы невиновных, то сразу же после её обнародования стали бы обходить. Читерить более равномерно по турам. Даже если не сильно нужна победа в третьем туре, изволь вставлять в игру компьютерные ходы, и будет порядок. Методика может работать лишь пока она секретная. А это избавляет от необходимости что-то кому-то объяснять и доказывать. Судья может банить как угодно, например за срубленный флаг, за 1.f3, за политические взгляды или за что угодно ещё. И не подкопаешься: секретность она и в Африке секретность.

То есть Крамник со своей идеей нулевой терпимости к читерам в онлайне просто ведёт прямой дорожкой вот к этому беспределу. Жёсткие требования по камерам наблюдения, запреты в отношении стримеров, многочисленные баны без объяснений просто распугают народ. А читеры всё равно останутся. Народ же перебежит с платформы, где всё это есть, на платформу, где этого нет. Чесскому такого не надо, вот и не слушает Крамника.

Это его, Крамника, решение. Мало ли что он хочет? Мы можем захотеть онлайн-соревнование, в котором каждый называет число отжиманий без доказательств, а потом машинное обучение или строгий судья отлавливает лжецов. Но ясно, что затея это безнадёжная и что выиграет тут тот, кто лучше изучил это самое машинное обучение или кого этот самый судья больше любит. Охота на онлайн-читеров на Чесскоме - из той же серии. Шансы на борьбу с читерством есть только в оффлайне. И не на базе субъективного анализа партий, а с помощью всяких металлоискателей да глушилок связи.

Ну с чего же вдруг сильно? Вы как дата-сайентист должны были обратить внимание на повторяемую Крамником несколько раз "девиацию" в 52 пункта перформанса, наблюдаемую в 7-10 турах. И должна была запомниться таблица, где аж у 11 из 18 игроков в последнем туре произошел всплеск более 104 пунктов или более 2-х сигм, если в терминах нормального распределения. Помните вероятность выйти из 2-х сигм? И какова она будет при 11 и более случаях из 18?

Утверждения теории вероятностей работают не сами по себе, а при выполнении соответствующих условий. Например, вероятность встретить 100 мужчин подряд не 1/2^100, поскольку бывает строй солдат. Любая теорема имеет вид "если..., то...", и это "если" надо всегда проверять.

Простой контрпример. Наш шахматист начинает дуть пиво с середины турнира, если он складывается плохо. И играет трезвым до конца, если есть хорошие шансы на приз. Трезвым он играет на 2700, под пивом в последних турах - съезжает до 2500. Трезвых турниров у него 50%.
Крамник берёт все его 10-е туры и видит перфоманс в районе 2600. Туда вошли и трезвые партии, и под пивом.
А потом берёт все 11-е туры только успешных турниров, где наш шахматист был трезвым и играл с перфомансом 2700.
Сигмы в обоих случаях можно сделать сколь угодно маленькими, надо просто набрать побольше турниров. И разница 2600 - 2700 вылетит за пределы какого угодно числа сигм. Ах, ох, поймали читера. Хотя перед нами честнейший представитель алкоформации.

Самый верный случай сделать теорию вероятностей неработающей это пустить козла в огород. Желая получить нужный результат, он волей-неволей где-то что-то нарушит, пихнёт науку вбок.

Основная моя мысль была в том, что Владимир Борисович берет два разные выборки и сравнивает их между собой, что конечно же ложно само по себе. Нельзя взять сигму одной выборки и применить ее к другой выборке. Попробую объяснить подробнее. Давайте возьмем случайного шахматиста, возьмем у него средний перформанс в 40 последних турнирах, а затем посмотрим средний перформанс только тех турниров, где он вошел в тройку призеров. Как вы думаете где средний перформанс окажется выше? Правильно! это же самое сравнивает Владимир Борисович. Если для выборки 11 тура отбирать только "успешные" для шахматиста турниры, а для выборки 7-10 такого не производить, то конечно же перформанс 11 труа значительно превзойдет. И разница в 100-150 пунктов кажется мне даже удивительно маленькой.

Вождь, вы же вроде не честнейший представитель алкоформации, чтобы такое написать с вероятностью 50% Что по-вашему есть сигма?

Крамник сравнивает не вообще 2 разные выборки, а одна является подмножеством другой. Причем большим ее подмножеством, поскольку по Крамнику в 25 случаях из 40 шахматист из топ 18 доходит к решающему туру с шансами на приз. Полностью согласен с вами, что корректнее сравнивать перформанс 7-10 туров с 11 только в удачных турнирах, но разница не должна быть слишком велика. Уж никак не такой, чтобы с разумной вероятностью получить рост свыше двух сигм в 11 случаях из 18.

Сигма это оценка, насколько точно перфоманс по выборке из N партий соответствует реальной силе игрока. Чем больше N, т.е. чем больше партий взяли, тем точнее это соответствие, тем меньше сигма.
Если игрок на такой-то выборке партий показал перфоманс, отличающийся от его обычной силы более чем на две-три сигмы, то статистическими случайностями это уже не объяснить, он наверняка читер. В этом задумка такого метода ловли читеров.

А мой пост - почему такой подход может не сработать.

Это просто не так. Перформанс в турнире определяется по результатам партий, в которых помимо главного фактора объективной силы игроков (не одного игрока!) присутствуют множество принципиально неустранимых случайных факторов. Поэтому ни о какой сколь угодно малой сигме речи быть не может.

Мой пост именно об этом

Пример с монеткой. Одно бросание это тоже куча неустранимых случайностей. Но при этом по N бросаниям можно определить вероятность упасть решкой с sigma = 0.5/sqrt(N).
Если взять 100 бросаний, то погрешность sigma = 5%, т.е. подозрительными становятся результаты с долей решек <40% и >60% (за пределами 2 sigma). Намагнитили монетку или что-нибудь ещё.
Если взять 10000 бросаний, то sigma = 0.5%, подозрительными станут результаты с долей решек <49% и >51%.
Если взять 1 млн бросаний, то simga = 0.05%, подозрительными станут доли решек <49.9% и >50.1%.
И так далее. Чем больше бросаний, тем точнее измеряем шанс монетки упасть решкой. Её, так сказать, "перфоманс".

С шахматными перфомансами, как я понял, предлагается та же идея. Сигмы вычисляются таким же образом, по выборке. А выпадение за пределы двух-трёх сигм объявляется признаком читерства.

То, о чем вы написали, называется состоятельность среднего значения, которое действительно приближается к вероятности (если поделить на N).
В нормальном распределении, о котором говорю я, сигма имеет другое значение. Вы сами можете убедиться, что с ростом количества турнирных партий средний разброс в перформансе игрока не уменьшается.

Бедная сигма, вот ей наверное икается...

Не пойму, о каком нормальном распределении Вы говорите.
Для одной партии распределение будет не нормальное, а дискретное: 20% шансов на победу одного, 30% шансов на ничью, 50% шансов на победу второго или что-нибудь ещё в этом роде.
Нормальное появляется, когда берёте большое количество партий. И чем больше их берёте, тем ниже сигма. Тем точнее перфоманс отвечает силе.

На отрезке из 4 партий Карпов мог взять против Каспарова то 75%, то 25%, перфоманс гуляет на сотни пунктов туда-сюда из-за случайностей.
А в матчах из 24 партий получалось то 11:13, то 12:12, то ещё что-нибудь в этом роде, то есть 55% к 45% или типа того. И гуляние перфоманса уже не сотни, а десятки пунктов.
Случайные погрешности уменьшаются с ростом выборки.

Наверное распределение Стьюдента более уместно, но принципиально на 40 партиях не имеет значения.

В корне неверно. Увеличивая количество партий мы сколь угодно точно приближаемся к матожиданию перформанса (при условии, что объективная сила игрока не меняется со временем и т.д.).
В нормальном распределении сигма характеризует дисперсию или меру отклонения случайной величины от ее матожидания. Именно об этом говорит Крамник, когда посчитал, что "средняя девиация" перформанса составила 52 пункта. На не малой выборке в 160 партий.

Верно, но это к Стьюденту, а не к Гауссу

Человек выложил применение метода Крамника на kaggle. Но дал более полную информацию: перфоманс за 7-10 туры тоже смотрим отдельно для случаев, когда человек претендовал или не претендовал на призы. Отобраны только те, кто достаточно много раз бывал в призах: у всех не менее десятка выигранных призов.

И - с именами. Например, претендующий на призы Крамник играет последний тур на 2998, а не претендующий - на 2467 (как это он сумел?).

Интересно; и правильно, что он разделяет 7-10 туры в хорошей форме и не очень. Странно, что возникли проблемы с подсчетом перформанса, ведь есть четкая формула, как исходя из набранных очков и среднего рейтинга соперников его получить. Потом Крамник все-таки берет год и говорит, что каждый сыграл плюс-минус 40 турниров – в приведенной статистике действительно могут быть большие отклонения, если турниров у игрока оказалось всего 10. В общем, надо дождаться данных от самого Крамника.

Дурное дело нехитрое

Кстати, поруганный Накамура оказался как бы оправдан этим исследованием. В успешных турнирах он играет на 3200+ не только в последнем туре, но и в 7-10 турах. А в неуспешных... наверное, зрители его стримов лучше скажут, чем он занимается.

Беда в том, что подходы с искусственным интеллектом тут не прокатят. Ведь как его учат отличать кошку от собачки? Показывают огромную прорву картинок с известным ответом: это кошка, это собачка, а это ни то ни другое. ИИ на этом учится, настраивает свои внутренние параметры под то, чтобы угадать как можно больше правильных ответов и как можно увереннее. И только после этого после этого уже можно давать незнакомые картинки, натренированный ИИ их распознает.

А откуда взять огромную прорву игроков, про каждого из которых на 100% известно, кто читер, а кто честный? Без них модель не на чем тренировать или тестировать. Это уже не ИИ, а субъективизм автора, который вот взъелся на Накамуру.

Ну вот: рассказывал тут про аномальный последний тур, а тут вдруг - раз! - резко поменял методику и заинтересовался длинными сериями побед. Был бы человек, а методика для него найдётся?

Ну хорошо, пускай будет такая методика. Тогда почему это Фишеру можно обыгрывать 12 раз подряд Тайманова с Ларсеном (разница рейтингов порядка 100 пунктов, кажется), а Накамуре нельзя выдать в несколько раз более длинную серию при разнице в рейтингах 300-400 пунктов. Вряд ли у Крамника, к каким бы математикам он ни обращался, тут получится обвинить Накамуру, но пощадить при этом Фишера. Либо оба получатся читерами, результаты которых вылетают за пределы стольких-то сигм. Либо оба окажутся честными.

Мне в методике не нравится то, что разных игроков в серии всего несколько. После проигрышей подряд только очень волевой шахматист не начнет играть существенно слабее.
Очень интересен был бы комментарий Крамника по шахматной стороне этих серий. Скажем, не поплыли ли соперники Накамуры с горя. Или например как часто Нака находил за секунды в сложных позициях единственные компьютерные решения на глубине хотя бы в 5 ходов... Это прояснило бы ситуацию – иначе подсчет вероятностей бессмыслен.

Ну и пусть проверят...
Я так понимаю по реакции Нааамуры бояться тому абсолютно нечего.

А я считаю, что довод про длинные серии убедителен. Но. Нужно обязательно привести серии других игроков. Он привел серии Карлсена(по 32 победы в каждой). И это очень здорово добавляет убедительности! Но хотелось бы серии еще кого-то для общей картины. Если серии Накамуры аномальные - посчитай и опубликуй серии других сильнейших на чесс.ком.

—- добавлено: 28 ноя 2023, опубликовано: 28 ноя 2023 —-

Извините, мне кажется довод про серию Фишера в 12 побед звучит не очень убедительно.
12 - это намного меньше 46! И еще мне кажется существенно, что Фишер играл эту серию как я понимаю в классику. Там вероятность "ляпнуть" меньше. А в блиц на мой взгляд сложнее играть стабильно сильно. Слишком экстремальный контроль. Всегда есть вероятность где-то зевнуть впопыхах.. За то его (блиц) и любят зрители, что здесь как в биатлоне. Есть большая доля случайности.. Я поэтому и написал про то, что мне немного не хватило в заявлении Крамника статистики по другим игрокам. Он назвал только серии Карлсена. Хотелось бы серии еще нескольких сильных для полноты картины. Того же Каруаны например. Я видел как Каруана играет в блиц! Это невероятно сильно! Кстати это был как раз тай-брейк с Накамурой, который уверенно выиграл Фаби!

Ну петицию-то все подписали?
https://www.change.org/p/we-demand-examination-5ec9eb34-f8f9-405f-9e4a-2629fe174ba4

Спустя две недели шумихи, все же я пришел к выводу, что метод Владимира Борисовича не является состоятельным (это лишь мое мнение, выше я его обосновывал). Но мало критиковать методы других, я несколько дней думал, а что бы предложил я? И у меня появилась вот такая идея:

Нам понадобятся две шахматные программы, обе должны играть гораздо сильнее человека, но разница их между собой тоже должна быть большой. Например это может быть Stockfish, но с разной глубиной оценки.

Берем шахматиста и анализируем все позиции в его партиях с помощью двух программ - Stockfish на глубине 40 и Stockfish на глубине 8-10. Далее рассматриваем только те позиции, где первая линия Stockfish(40) НЕ ПОПАДАЕТ в первые 2-3 линии Stockfish (8), таких позиций будет не много, в конкретной партии даже может не оказаться вовсе, но мы их точно найдем в нескольких партиях.
Так вот для всех партий шахматиста сыгранных в титульном вторнике нужно определить процент ходов по первой линии, но только в отобранных позициях. Аномальные значения такого показателя точно вызывают подозрения. Почему? Шахматист играет по первой линии Stockfish(40), но этот ход не является топовым у менее слабой программы, но уже гораздо более сильной, чем человек, иными словами мы найдем процент ходов в отобранных позициях, где шахматист сыграл сильнее компьютера, что конечно подозрительно. И конечно такой ход может быть сделан любым честным шахматистом, но если проанализировать несколько сотен партий, а то и тысяч, то аномально высокие показатели такого критерия вызовут вопросы гарантированно.

Кстати, удачно, если сила шахматных программ будет отличаться именно глубиной счета. Потому что в блице как раз нет возможности считать глубоко. И игра по первой линии в счетном варианте конечно подозрительна.

Сразу стоит сказать, что
1. анализировать партии стоит только с возникновения на доске абсолютно новой позиции, а то и еще прибавлять 2-3 хода после этого (дабы исключить ходы по "домашней заготовке").
2. я не знаю, что считать "аномально высоким показателем", сначала следует провести такое исследование, а границу "читер/не читер" должны установить статистики (мне просто не хватает для этого компетенций)

Мне бы было очень интересно послушать критику такого подхода. И было бы супер, чтобы кто-то, кто имеет доступ к базам данных chess.com мог провести такой анализ, очень уж любопытно, что же получится.