Open Rating

Начал более-менее регулярный турнир в блиц между движками с открытым исходным кодом.
Первые (и все последующие) результаты можно смотреть здесь:
http://greko.chess.googlepages.com/openrating

Контроль времени: 3+1, все установки - по умолчанию, дебютные книги родные, в случае отсутствия таковой - используется книга Арены.

Пока что удивляет Glaurung. Возможно, 32-битная его версия намного слабее 64-битной.

Начал тестировать Phalanx XXII. Это, конечно, движок из другой лиги. После 13 партий ему удалось дважды уползти на ничью с Крафти.
http://greko.chess.googlepages.com/openrating

Рейт Фаланкса должен быть чуть меньше 2400.

Думаю, да. Пока такой разрыв связан именно с тем, что Фаланкс единственный "слабый" движок, и проигрывает почти под ноль. После добавления GNUChess и прочих GreKo ситуация должна измениться.

Думаю с большим количеством партий ситуация изменилась бы и без добавления новых движков. Кстати, в моих тестах Главрук смотрится очень хорошо. Скоро выложу обновление.

Вот как выглядят текущие результаты по БайесЭло:

Code:

Rank Name             Elo    +    - games score oppo. draws
   1 Scorpio 1.8     2815  146  146    21   79%  2595    5%
   2 Fruit 2.1       2700  128  128    21   60%  2628   14%
   3 Crafty 20.14    2673  125  125    22   59%  2623   27%
   4 Glaurung 1.2.1  2526  136  136    21   29%  2677   10%
   5 Phalanx XXII    2367  194  194    13    8%  2678   15%

А вот как по ЭлоСтат:

Code:

   Program                     Elo    +   -   Games   Score   Av.Op.  Draws
  1 Scorpio 1.8               : 2824  123 249    21    78.6 %   2598    4.8 %
  2 Fruit 2.1                 : 2700  149 158    21    59.5 %   2633   14.3 %
  3 Crafty 20.14              : 2685  145 130    22    59.1 %   2621   27.3 %
  4 Glaurung 1.2.1            : 2524  201 132    21    28.6 %   2683    9.5 %
  5 Phalanx XXII              : 2266  302 158    13     7.7 %   2698   15.4 %

Интересно, что ширина топ-группы в обоих случаях оказалась одинаковой, 300 пунктов - а вот в оценке пропасти между Phalanx и Glaurung программы разошлись на 100 очков.

Phalanx с честью прошёл нелёгкое испытание грандами, выиграл напоследок партию у Фрукта и приблизился, как и было предсказано, к отметке 2400. Следующий участник - GNUChess 4 TM, пока что ей очков набрать не удалось. Новости рейтинга, как всегда, на http://greko.chess.googlepages.com/openrating

Code:

Program                     Elo   Games   Score   Av.Op. 

  1 Toga II 1.2.1a            : 2767  72      88.9 %   2406  
  2 Fruit 2.1                 : 2700  72      84.0 %   2411  
  3 Scorpio 1.8               : 2598  72      73.6 %   2420  
  4 Glaurung 1.2.1            : 2560  72      68.8 %   2423  
  5 Delfi 5.0                 : 2545  72      66.7 %   2424  
  6 Crafty 20.14              : 2540  72      66.0 %   2425  
  7 Phalanx XXII              : 2451  72      52.8 %   2432  
  8 EXchess 5.01 beta         : 2379  72      41.7 %   2438  
  9 GNUChess 4 TM             : 2332  72      34.7 %   2442  
 10 GreKo 2.817a              : 2327  72      34.0 %   2442  
 11 GreKo 3.3a                : 2275  72      27.1 %   2447  
 12 HoiChess 0.6.1            : 2017  72      6.9 %    2468  
 13 TSCP 1.81                 : 1957  72      4.9 %    2473

Что-то мне не очень нравится. Может лучше было разделить на лиги. И внутри каждой сыграть по-больше партий. А потом провести объеденительные матчи между пограничными движками.

А чем это лучше, кроме экономии времени?

Я разделю на лиги после включения всех интересных мне open-source движков. Пока что можно рассматривать турнир как предварительный этап - надо же на каком-то основании на эти самые лиги делить.

С лигами будет покруче

Буду рад потестировать

Очень интересная подборка движков! Винни, продолжаются ли тесты, или уже нет?

Я постараюсь в ближайшее время добавить выборку движков с открытым исходников в статистику CCRL.

Конечно же, тесты будут продолжены. Вопрос, как всегда, упирается в наличие свободного времени... Сейчас я думаю над реорганизацией турнира - gauntlet при большом количестве движков становится очень долгим. Видимо, настала пора разделить программы на три лиги, примерно так:

1-я лига (2500 и выше):

1 Toga II 1.2.1a : 2757 78 87.2 % 2424
2 Fruit 2.1 : 2700 78 82.7 % 2428
3 Scorpio 1.8 : 2599 78 71.8 % 2436
4 Glaurung 1.2.1 : 2569 78 67.9 % 2439
5 Delfi 5.0 : 2560 78 66.7 % 2439
6 Crafty 20.14 : 2550 78 65.4 % 2440
7 SlowChessBlitz 2.96 : 2546 78 64.7 % 2440

2-я лига (2200-2500):

8 Phalanx XXII : 2452 78 50.6 % 2448
9 EXchess 5.0.1 beta : 2376 78 39.1 % 2453
10 GNUChess 4 TM : 2331 78 32.7 % 2457
11 GreKo 2.817a : 2327 78 32.1 % 2457
12 GreKo 3.3a : 2297 78 28.2 % 2459

3-я лига (меньше 2200):

13 HoiChess 0.6.1 : 2015 78 6.4 % 2481
14 TSCP 1.81 : 1955 78 4.5 % 2486

С начала ноября продолжу добавлять движки, уже по системе лиг...

http://***-elengine.mylivepage.ru

Это сильно +1

Всё ж таки сегодня я её доматовал. Нашёл, где она глючит по страшному. Оказывается при контроле 2 мин. она в защите Алёхина чёрными ТАКОЕ вытворяет...
Выиграл уже пять партий ход в ход. Очень успокаивает нервную систему...

Скачать не удалось. Ссылка приводит на главную страницу MyLivePage...
Если не трудно, дай более подробный адрес.
А это движок с открытым кодом?

Прочитай первый пост ветки

Добавил выборку движков с открытым кодом из базы CCRL 40/40: Однопроцессорные движки с открытым исходником в тестах CCRL 40/40.

Пока что мало движков так как мы постепенно продвигаемся от сильных движков к менее сильным. Так, уже почти определилась десятка сильнейших свободно распостраняемых движков. Недавно в десятку вышла Zappa 1.1 64-bit про которую сперва забыли.

У нас свобода действия, каждый тестирует то что ему интересно. Я тестирую бесплатные движки, продвигаясь сверху вниз вдоль диагонали. В настоящий момент тестирую Naum 2.0 64-bit, Zappa 1.1 64-bit и Colossus 2006f. Со временем дойдёт очередь до Hamsters и других движков послабее.

Может быть Грэхам или Джорж включит Hamsters в какой-нибудь очередной турнир.

Протестировал две новые версии GreKo: 5.1 и 5.2.

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Toga II 1.2.1a                 : 2731   89  84    84    86.3 %   2411   17.9 %
  2 Fruit 2.1                      : 2700   98  92    84    83.9 %   2413    8.3 %
  3 Scorpio 1.8                    : 2600   76  73    84    73.8 %   2420   19.0 %
  4 SlowChessBlitz 2.96            : 2558   75  72    84    68.5 %   2423   15.5 %
  5 Delfi 5.0                      : 2554   72  70    84    67.9 %   2424   19.0 %
  6 Glaurung 1.2.1                 : 2549   73  71    84    67.3 %   2424   17.9 %
  7 Crafty 20.14                   : 2545   77  74    84    66.7 %   2424    9.5 %
  8 Phalanx XXII                   : 2425   69  69    84    48.8 %   2433   16.7 %
  9 GreKo 5.2                      : 2354   72  73    78    37.2 %   2445   17.9 %
 10 EXchess 5.0.1 beta             : 2350   69  71    84    37.5 %   2438   17.9 %
 11 GreKo 5.1                      : 2330   76  78    78    34.0 %   2445   11.5 %
 12 GreKo 2.817                    : 2320   74  77    84    33.3 %   2440    9.5 %
 13 GNUChess 4 TM                  : 2307   76  79    84    31.5 %   2441    8.3 %
 14 HoiChess 0.6.1                 : 1985  149 121    84     6.0 %   2464    0.0 %
 15 TSCP 1.81                      : 1967  153 101    84     5.4 %   2466    1.2 %

Эта ветка еще жива?
Интересно было бы протестировать Booot.

А он с открытым кодом?

Скачал, изучаю