Тесты CCRL

Продолжается нелёгкий труд команды тестеров CCRL. Решил рассказать немного о нашем проекте.

Основная идея проста. Есть сотни движков, но как узнать какой самый сильный, какой второй, и т.д. Испытанный способ - проводить автоматические турниры и считать рейтинги по базе партий. В блице каждый может получить достоверные результаты, но нам более интересен длинный контроль. Единственный выход - объединить результаты нескольких человек и считать рейтинги по общей базе партий.

Мы сравниваем движки с контролем времени эквивалентным 40 минут на 40 ходов на процессоре Athlon 64 3800+. Пондеринг выключен, общие книжки, 4 или 5-фигурные базы налимова, 128 или 256 МБ для хэша. Проект стартовал в декабре 2005 года, в настоящий момент участвуют 11 человек - маньяков компьютерных шахмат.

Принципы простые:
1. Каждый участник проводит матчи либо турниры любого формата, включая любые доступные движки. Все движки в наших тестах должны быть официально выпущены и доступны (бесплатно или за деньги). То есть исключаются альфы, беты и невыпущенные версии.
2. Мы стараемся избегать пере-тестирования отдельных пар движков, так как это портит статистику. Обычно проводим матчи из 30 партий, максимум 100.

Статистика и база партий обновляется еженедельно.

Наш основной интерес это контроль времени 40/40 @ A64 3800+, но недавно мы решили начать публиковать рейтинги движков в блице. Причина простая - каждый иногда проводит быстрые блиц-тесты чтобы что-то проверить или посмотреть новый движок. Поэтому чтобы партии не пропадали мы решили унифицировать блиц-условия тестирования и собирать партии в общую базу. Контроль времени - 4 минуты на 40 ходов (на A64 3800+). Я бы этот контроль называл буллетом на самом деле.

Я в настоящий момент тестирую Глаурунг 1.2, Спайк 1.2 и Скорпио 1.8, Грэхам проводит как обычно мега турниры из порядка 20 бесплатных движков, Рэй и Том тестируют Рыбку и Заппу на 4 процессорах (дуальные двухядерные оптероны), Шон переключился на блиц, Джош пытается запускать свободные движки под линуксом, Сара тестирует Шреддер 10, Чарльз и Джорж тоже тестируют бесплатные движки. Вобщем что кому интересно.

Если есть любые вопросы или предложения, буду рад ответить.

Главрук - это мегадвижок

Глаурунг - это вроде бы второй (после фрукта/тоги) сильнейший движок с открытым исходником.

Для оценки скорости мы используем Крафти 19.17 (компиляция Брайна Хоффмана), 32-бит. Скачать можно здесь. Запускаете, набираете bench, ждёте с минуту-две, потом открываете файл "log.001", ищете в конце строчку: "Total elapsed time: 58" - это время выполнения теста, в секундах, назовём его C. Тогда контроль времени для вашего компьютера будет T минут на 40 ходов где T = C / 1.2 (или C * 40 / 48). Выглядит архаично, но просто, надёжно и практично.

Жаль не смогу поучавствовать, ибо Хоффман не компилит для Линукса.

Вообще у меня всего четыре движка в обороте, в зависимости от позиции и настроения: Крафтя, Главрук, Фрухт и ... секрет Чтобы враги не догадались.

Да, это жаль. У нас не было в обороте компов под Линуксом когда мы начинали эти тесты. Надо что-нибудь придумать.

Я знаю, GNU Chess.

Ответ неверен, но больше на провокации не отвечу!

я думаю, хярка может быть. правда, уже давно появился шреддер под линукс, причес классик версию можно скачать без пэ (без проблем, в смысле ). кстати да, глаурунг - крутой! я ему симпатизирую.

Кстати, я стал отказываться от Крафти... плохо она стала справляться. Главрук ее полностью заменил практически. Очень мне этот движок нравится.

А можно пару слов на тему, чем именно он хорош?
Я его ещё не пробовал.

Да быстро очень считает на моем железе. В сложных миттельшпилях лезет на 20+ если подержать. Крафтю обыгрывает на ура. Я его использую, когда надо что-то конкретно рассчитать.

легко компилится везде, красиво думает, есть поддержка параллельных процессов, настройки... и вообще, его надо просто посмотреть! то, что глаурунг - только UCI, думаю, для любящих мед это не проблема.

Обновлён рейтинг лист CCRL 40/40 и CCRL 40/4 (и вся сопутствующая статистика). На главной странице сокращённый список - только лучшие версии движков сыгравшие достаточно партий. Чтобы увидеть полный рейтинг лист нужно кликнуть на "Complete list" в навигации, вверху страницы. Любые вопросы и предложения приветствуются.

Уже ставим. Но пока что есть проблемы с рыбкой 2.1 в том числе с 2.1с.

Зап параллелит хорошо, однопроцессорный зап слабее однопроцессорного шреддера на 90 пунктов в наших тестах, а на четырёх процессорах зап уже сильнее (чем шреддер на четырёх). Гидра скорее всего не потянет, жаль нельзя проверить.

Из нашего последнего рейтинг-листа (CCRL 40/40, 2006-07-22):

Код:

...
Glaurung 1.2 64-bit             2780   69  -69  47%    13    64
Scorpio 1.8                     2778   46  -46  47%    18   141
...

С тех пор Глаурунг 1.2 64-бит также выиграл у Скорпио 1.8 в личном матче (17.5 - 14.5), обновление рейтингов и партии - как обычно в субботу. Разница минимальная и партий пока мало чтобы утверждать наверняка.

Да, бывает так что высылают. Но многое и покупаем.

Может быть просто Скорпио написан так, что не получает существенного ускорения от 64-бит? В наши дни отсутствие 64-битной версии я рассматриваю как признание того что 64-бита движку не особенно помогают.

Обновился рейтинг лист CCRL 40/40! В главном рейтинг листе дебютируют Spike 1.2, Scorpio 1.8 и Pharaon 3.3. На веб-страничке проекта вы можете найти выборки из полного рейтинг листа: 32-битные движки, 1-процессорные движки, свободно распостраняемые движки, и все комбинации этих факторов. Также можно выбрать произвольный набор движков и посмотреть рейтинг лист и таблицу результатов.

Наши участники уже тестируют Ктулу 8, Лист, Луп, также Шреддер и Рыбку на 4-х ядрах. Лично я сейчас больше интересуюсь бесплатными движками. Вот выборка которая интересует меня в данный момент: Последние версии свободных движков.

PS. По последним данным в тестирование уже вложено больше семи лет процессорного времени. (Если процессор - Athlon 64 3800+).

В выходные как обычно обновился рейтинг лист CCRL 40/40. Из интересного: Glaurung 1.2 64-bit наконец-то перешагнул через порог в 150 партий необходимых для включения в главный список. Пока что он смотрится сильнее своего главного конкурента - Скорпио. Я продолжаю тесты сильнейших бесплатных движков, с целью максимально точно установить десятку сильнейших. Начал тестировать Jonny 2.83 64-bit. Если с пятёркой сильнейших бесплатных движков всё более-менее ясно, то дальше начинается очень плотная конкуренция.

Как обычно приветствуются вопросы, комментарии и желающие поучаствовать. Для любителей блица мы так же строим рейтинг лист в контроле 4 минуты на 40 ходов (на Атлоне 64 3800+). Этим занимается Шон Бревер, с помощью Грэхама и моей. Их остальных новостей.. Андреас, Том, Рэй и Сара вроде бы тестируют Луп, Лист и четырёх-процессорных Шреддера и Рыбку. Грэхам запустил очередной турнир из полсотни бесплатных движков. Джорж и Чарльз тоже изучают бесплатные движки. Вообще последние два месяца мы более активно изучаем бесплатные движки, что можно увидеть на странице истории.

Ты лучше выясни, кто ей такой кошмарный логотяп нарисовал

Да, прикольные логотипчики

Не сложилось. Gambit Fruit это вариант Фрукта. Мы уже тестируем довольно упорно сам фрукт и тогу, на тестирование также и габмит фрукта сил пока что не нашлось. Есть гипотеза что последняя Тога сильнее, поэтому и нет особого интереса.

Вроде бы баг в девятом фрице. У меня его нет так что проверить не могу. В девятом шреддере бага нет (вроде бы). Надо изучать вобщем.

Грэхам решил перерисовать логотип. Новая версия здесь.

А что нельзя самому лого нарисовать? :/