Как оценить рейтинг движка

Тема в разделе "Машинное отделение", создана пользователем Terry, 5 янв 2008.

  1. TopicStarter Overlay

    Terry Олег

    • Участник
    Рег.:
    13.12.2007
    Сообщения:
    14
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Киев
    Оффлайн
    Вот хороший вопрос.
    Предположим есть какой то движок, как оценить его рейтинг? Понимаю самый элементарный вариант: играть, играть и играть с движками (или противниками) у которых рейтинг известен и тем самым вывести свой реальный рейтинг.
    Но ... от чего отталкиваться, как определить рейтинг соответствующей программы (движка) на конкретном оборудовании. Те таблицы что приводятся на CCRL, как я понимаю, сооветствуют каким то конкретным настройкам и оборудованию.
    Terry, 5 янв 2008
    #1

  2. Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Не существует никакого абстрактного рейтинга, можно говорить только о рейтинге в конкретных тестовых условиях и на конкретном оборудовании.

    От чего отталкиваться? Рейтинг - это не абсолютная величина, рейтинг существует только относительно других движков, следовательно от них и нужно отталкиваться. То есть сперва определяется некий контекст в котором нужно оценить движок, затем в этом контексте проводится тестирование.

    Интресным вопросом является выбор соперников для определения рейтинга. Общепринята практика когда соперников берут с потолка, произвольно или таких которые чем-то интереснее тестеру. Мой метод: систематически выбирать соперников как можно более близких по силе к тестируемому движку.
    Kirr, 8 янв 2008
    #2

  3. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.492
    Симпатии:
    3.122
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Как однажды сказал, кажется, Каспаров: любая программа - это игрок с рейтингом 2300, который просто никогда не зевает. :)
    WinPooh, 8 янв 2008
    #3

  4. Crest Админ, МГ

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    57.245
    Симпатии:
    21.136
    Репутация:
    628
    Адрес:
    Москва, Россия
    Оффлайн
    А Райлих сказал, что его Рыбка - игрок с рейтингом 2100, который имеет возможность обдумывать каждый ход в течении 100 лет.
    Crest, 8 янв 2008
    #4

  5. Хайдук Учаcтник

    • Участник
    Рег.:
    03.12.2007
    Сообщения:
    4.489
    Симпатии:
    9
    Репутация:
    0
    Оффлайн
    Интересно было бы найти позиции (случившиеся в реальных партиях или придуманные), отличные от крепостей, в которых компьютер на протяжении нескольких последовательных ходов не находит сильнейшего продолжения и стало быть не "понимает" позиции. Если бы даже умудрился проиграть, то вот это было бы здорово! :D
    Хайдук, 8 янв 2008
    #5

  6. vasa Опытный перворазрядник

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    35.303
    Симпатии:
    17.589
    Репутация:
    585
    Адрес:
    Ростов-на-Дону
    Оффлайн
    Вот. И это было :)

    http://kasparovchess.crestbook.com/viewtopic.php?id=1739
    vasa, 8 янв 2008
    #6

  7. thenewone Евгений Манев

    • Участник
    • Старожил
    Рег.:
    09.06.2006
    Сообщения:
    3.173
    Симпатии:
    18
    Репутация:
    1
    Адрес:
    Пловдив
    Оффлайн
    А, любопытно, как угадываете силу движка, если еще не протестировали? :)
    thenewone, 9 янв 2008
    #7

  8. Хайдук Учаcтник

    • Участник
    Рег.:
    03.12.2007
    Сообщения:
    4.489
    Симпатии:
    9
    Репутация:
    0
    Оффлайн
    Повидомому, сначала выбираешь произвольного соперника, разница в силе получается, потом другого и в конце концов находишь тех, с кем делаешь только ничьи ;) . Их рейтинг - твой :)
    Хайдук, 9 янв 2008
    #8

  9. Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Приблизительно, по данным других тестеров, или по предыдущим версиям движка. Очень редко бывает что нет никаких данных или результатов. Я не спешу тестировать новые версии в день их выпуска, поэтому обычно информации для приблизительной оценки достаточно. В процессе тестирования оценка, конечно, уточняется.
    Kirr, 9 янв 2008
    #9
  10. TopicStarter Overlay

    Terry Олег

    • Участник
    Рег.:
    13.12.2007
    Сообщения:
    14
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Киев
    Оффлайн
    Ага, вот вот. Вот обкатываю новый движок (крутится на мобильном телефоне). Дабы определить его рейтинг - загнал его на ШахматнуюПланету (ищите игрока "МобильныйШахматист"). Поиграет там пару недель, набьёт какой то рейтинг, вот уже и будет ориентир.
    Terry, 9 янв 2008
    #10

  11. VP Учаcтник

    • Участник
    Рег.:
    06.05.2007
    Сообщения:
    181
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Красноярск
    Оффлайн
    Да многие авторы интересно считают, например Греко(WinPooh) интервал в силе тест-движков берет 1000 пунктов :).
    Если автор Греко считает свой движок на 2300, то ему надо взять группу
    движков 10-20 в интервале 2200-2400 например, да пусть даже до 2500(Booot ,Ufim) если уж так хочется сильными померяться.
    Для чего он брал Рыбку=2700 и SMTP=1700 еще там разные были движки, потом обсчитывал, лучше вместо этих
    двух крайних, включил еще парочку 2300-2400 реальней бы вывел своему Греко рейт.
    ИМХО, чем ближе тестеры-движки по силе(не более +-100 пунктов), и больше партий с ними, тем точнее рейтинг получаем.
    VP, 9 янв 2008
    #11

  12. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.492
    Симпатии:
    3.122
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Рейтинг Греко мне и так неплохо известен, по результатам CCRL, WBEC, etc. Я им доверяю. Да и свои тесты со всякими движками провожу, только не всегда результаты публикую, уж не обессудьте :)

    Для чего играть с Рыбкой? Просто так, just for fun. Приятно видеть, как иногда у неё удаётся отобрать очко или половинку :)

    А вообще, более-менее прилично посчитать рейтинг при моих вычислительно-временных ресурсах просто невозможно, для этого нужны тысячи партий каждой новой версии. Я к этому и не стремлюсь. Но всё равно - надо же на основании чего-то принимать решение перед выпуском новой версиии.
    WinPooh, 9 янв 2008
    #12

  13. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.492
    Симпатии:
    3.122
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    TSCP в пуле знаете для чего? Если программа вдруг делает с ней ничью или проигрывает (бывает и такое) - очень часто это служит ключом к обнаружению очередного бага, и его исправлению.
    WinPooh, 9 янв 2008
    #13

Поделиться этой страницей