Open Rating

Тема в разделе "Машинное отделение", создана пользователем WinPooh, 8 авг 2006.

  1. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Начал более-менее регулярный турнир в блиц между движками с открытым исходным кодом.
    Первые (и все последующие) результаты можно смотреть здесь:
    http://greko.chess.googlepages.com/openrating

    Контроль времени: 3+1, все установки - по умолчанию, дебютные книги родные, в случае отсутствия таковой - используется книга Арены.

    Пока что удивляет Glaurung. Возможно, 32-битная его версия намного слабее 64-битной.
  2. MaxP Максим

    • Новичок
    Рег.:
    21.07.2006
    Сообщения:
    55
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Ставрополь
    Оффлайн
    Ну, партий пока маловато, чтобы делать какие-либо выводы, так что подождем пока их наберется достаточно. А так очень интересно. Еще можно включить SlowChessBlitz.
  3. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Начал тестировать Phalanx XXII. Это, конечно, движок из другой лиги. После 13 партий ему удалось дважды уползти на ничью с Крафти.
    http://greko.chess.googlepages.com/openrating
  4. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    3
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Рейт Фаланкса должен быть чуть меньше 2400.
  5. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Думаю, да. Пока такой разрыв связан именно с тем, что Фаланкс единственный "слабый" движок, и проигрывает почти под ноль. После добавления GNUChess и прочих GreKo ситуация должна измениться.
  6. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    3
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Думаю с большим количеством партий ситуация изменилась бы и без добавления новых движков. Кстати, в моих тестах Главрук смотрится очень хорошо. Скоро выложу обновление.
  7. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Вот как выглядят текущие результаты по БайесЭло:
    Код:
    Rank Name             Elo    +    - games score oppo. draws
       1 Scorpio 1.8     2815  146  146    21   79%  2595    5%
       2 Fruit 2.1       2700  128  128    21   60%  2628   14%
       3 Crafty 20.14    2673  125  125    22   59%  2623   27%
       4 Glaurung 1.2.1  2526  136  136    21   29%  2677   10%
       5 Phalanx XXII    2367  194  194    13    8%  2678   15%
    А вот как по ЭлоСтат:

    Код:
       Program                     Elo    +   -   Games   Score   Av.Op.  Draws
      1 Scorpio 1.8               : 2824  123 249    21    78.6 %   2598    4.8 %
      2 Fruit 2.1                 : 2700  149 158    21    59.5 %   2633   14.3 %
      3 Crafty 20.14              : 2685  145 130    22    59.1 %   2621   27.3 %
      4 Glaurung 1.2.1            : 2524  201 132    21    28.6 %   2683    9.5 %
      5 Phalanx XXII              : 2266  302 158    13     7.7 %   2698   15.4 %
    Интересно, что ширина топ-группы в обоих случаях оказалась одинаковой, 300 пунктов - а вот в оценке пропасти между Phalanx и Glaurung программы разошлись на 100 очков.
  8. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Phalanx с честью прошёл нелёгкое испытание грандами, выиграл напоследок партию у Фрукта и приблизился, как и было предсказано, к отметке 2400. Следующий участник - GNUChess 4 TM, пока что ей очков набрать не удалось. Новости рейтинга, как всегда, на http://greko.chess.googlepages.com/openrating
  9. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Код:
    Program                     Elo   Games   Score   Av.Op. 
    
      1 Toga II 1.2.1a            : 2767  72      88.9 %   2406  
      2 Fruit 2.1                 : 2700  72      84.0 %   2411  
      3 Scorpio 1.8               : 2598  72      73.6 %   2420  
      4 Glaurung 1.2.1            : 2560  72      68.8 %   2423  
      5 Delfi 5.0                 : 2545  72      66.7 %   2424  
      6 Crafty 20.14              : 2540  72      66.0 %   2425  
      7 Phalanx XXII              : 2451  72      52.8 %   2432  
      8 EXchess 5.01 beta         : 2379  72      41.7 %   2438  
      9 GNUChess 4 TM             : 2332  72      34.7 %   2442  
     10 GreKo 2.817a              : 2327  72      34.0 %   2442  
     11 GreKo 3.3a                : 2275  72      27.1 %   2447  
     12 HoiChess 0.6.1            : 2017  72      6.9 %    2468  
     13 TSCP 1.81                 : 1957  72      4.9 %    2473
  10. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    3
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Что-то мне не очень нравится. Может лучше было разделить на лиги. И внутри каждой сыграть по-больше партий. А потом провести объеденительные матчи между пограничными движками.
  11. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    А чем это лучше, кроме экономии времени?
  12. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Четче результат. При том же количестве партий Доверительный интервал меньше (при меньшей разнице в силе соперников)
  13. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Я разделю на лиги после включения всех интересных мне open-source движков. Пока что можно рассматривать турнир как предварительный этап - надо же на каком-то основании на эти самые лиги делить.
  14. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Начиная с версии 0.09 У меня будут открытые исходники (приведу текст в порядок, а то из-за спешки всё в заплатках :) )
    Так что тоже поучаствую...
  15. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    3
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    С лигами будет покруче :)
  16. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Буду рад потестировать :)
  17. Владимир Медведев угадайте :)

    • Участник
    Рег.:
    23.09.2006
    Сообщения:
    36
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Москва
    Оффлайн
    Добавил SlowChessBlitz.

    Код:
    24.09.2006 18:22:38 :
    
        Program                          Elo  Games   Score   Av.Op. 
    
      1 Toga II 1.2.1a                 : 2757  78    87.2 %   2424  
      2 Fruit 2.1                      : 2700  78    82.7 %   2428  
      3 Scorpio 1.8                    : 2599  78    71.8 %   2436  
      4 Glaurung 1.2.1                 : 2569  78    67.9 %   2439  
      5 Delfi 5.0                      : 2560  78    66.7 %   2439  
      6 Crafty 20.14                   : 2550  78    65.4 %   2440  
      7 SlowChessBlitz 2.96            : 2546  78    64.7 %   2440  
      8 Phalanx XXII                   : 2452  78    50.6 %   2448  
      9 EXchess 5.0.1 beta             : 2376  78    39.1 %   2453  
     10 GNUChess 4 TM                  : 2331  78    32.7 %   2457   
     11 GreKo 2.817a                   : 2327  78    32.1 %   2457   
     12 GreKo 3.3a                     : 2297  78    28.2 %   2459   
     13 HoiChess 0.6.1                 : 2015  78     6.4 %   2481   
     14 TSCP 1.81                      : 1955  78     4.5 %   2486
  18. Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Очень интересная подборка движков! Винни, продолжаются ли тесты, или уже нет?

    Я постараюсь в ближайшее время добавить выборку движков с открытым исходников в статистику CCRL.
  19. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Конечно же, тесты будут продолжены. Вопрос, как всегда, упирается в наличие свободного времени... Сейчас я думаю над реорганизацией турнира - gauntlet при большом количестве движков становится очень долгим. Видимо, настала пора разделить программы на три лиги, примерно так:

    1-я лига (2500 и выше):

    1 Toga II 1.2.1a : 2757 78 87.2 % 2424
    2 Fruit 2.1 : 2700 78 82.7 % 2428
    3 Scorpio 1.8 : 2599 78 71.8 % 2436
    4 Glaurung 1.2.1 : 2569 78 67.9 % 2439
    5 Delfi 5.0 : 2560 78 66.7 % 2439
    6 Crafty 20.14 : 2550 78 65.4 % 2440
    7 SlowChessBlitz 2.96 : 2546 78 64.7 % 2440

    2-я лига (2200-2500):

    8 Phalanx XXII : 2452 78 50.6 % 2448
    9 EXchess 5.0.1 beta : 2376 78 39.1 % 2453
    10 GNUChess 4 TM : 2331 78 32.7 % 2457
    11 GreKo 2.817a : 2327 78 32.1 % 2457
    12 GreKo 3.3a : 2297 78 28.2 % 2459

    3-я лига (меньше 2200):

    13 HoiChess 0.6.1 : 2015 78 6.4 % 2481
    14 TSCP 1.81 : 1955 78 4.5 % 2486

    С начала ноября продолжу добавлять движки, уже по системе лиг...
  20. Binary Учаcтник

    • Участник
    Рег.:
    27.08.2006
    Сообщения:
    135
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Мытищи
    Оффлайн
  21. ChessZone Роман Вилявин

    • Участник
    Рег.:
    20.02.2006
    Сообщения:
    829
    Симпатии:
    1
    Репутация:
    0
    Адрес:
    Харьков
    Оффлайн
    Всегда боялся сюда писать - тут "ругаются" на неизвестных языках сильно, но не могу удержаться - Vasa играл с этой штуковиной через ее собственную оболочку, и как только дело шло к мату или появлялся ферзь ушлая прога совершала якобы недопустимую операцию и закрывалась! Хитрая софтина нахально читит!!! :D
  22. atoku Модератор

    • Команда форума
    Рег.:
    04.02.2006
    Сообщения:
    2.949
    Симпатии:
    8
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
  23. vasa Опытный перворазрядник

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    31.990
    Симпатии:
    12.011
    Репутация:
    484
    Адрес:
    Ростов-на-Дону
    Оффлайн
    Всё ж таки сегодня я её доматовал. Нашёл, где она глючит по страшному. Оказывается при контроле 2 мин. она в защите Алёхина чёрными ТАКОЕ вытворяет...
    Выиграл уже пять партий ход в ход. Очень успокаивает нервную систему...:)
  24. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Скачать не удалось. Ссылка приводит на главную страницу MyLivePage...
    Если не трудно, дай более подробный адрес.
    А это движок с открытым кодом?
  25. Binary Учаcтник

    • Участник
    Рег.:
    27.08.2006
    Сообщения:
    135
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Мытищи
    Оффлайн
  26. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    3
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Прочитай первый пост ветки :)
  27. Binary Учаcтник

    • Участник
    Рег.:
    27.08.2006
    Сообщения:
    135
    Симпатии:
    0
    Репутация:
    0
    Адрес:
    Мытищи
    Оффлайн
    :D
    тогда пусть участвует вне конкурса!
  28. Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Добавил выборку движков с открытым кодом из базы CCRL 40/40: Однопроцессорные движки с открытым исходником в тестах CCRL 40/40.

    Пока что мало движков так как мы постепенно продвигаемся от сильных движков к менее сильным. Так, уже почти определилась десятка сильнейших свободно распостраняемых движков. Недавно в десятку вышла Zappa 1.1 64-bit про которую сперва забыли. :)
  29. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Наконец Анечка в CCRL обогнала Зевса по рейтингу :)

    А не планируется продолжить тестирование Hamsters?
    Он играет на пару сотен пунктов слабее, чем получилось по тестам (из-за того что всего 13 партий)
  30. Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    У нас свобода действия, каждый тестирует то что ему интересно. Я тестирую бесплатные движки, продвигаясь сверху вниз вдоль диагонали. В настоящий момент тестирую Naum 2.0 64-bit, Zappa 1.1 64-bit и Colossus 2006f. Со временем дойдёт очередь до Hamsters и других движков послабее.

    Может быть Грэхам или Джорж включит Hamsters в какой-нибудь очередной турнир. :)
  31. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Протестировал две новые версии GreKo: 5.1 и 5.2.
    Код:
        Program                          Elo    +   -   Games   Score   Av.Op.  Draws
    
      1 Toga II 1.2.1a                 : 2731   89  84    84    86.3 %   2411   17.9 %
      2 Fruit 2.1                      : 2700   98  92    84    83.9 %   2413    8.3 %
      3 Scorpio 1.8                    : 2600   76  73    84    73.8 %   2420   19.0 %
      4 SlowChessBlitz 2.96            : 2558   75  72    84    68.5 %   2423   15.5 %
      5 Delfi 5.0                      : 2554   72  70    84    67.9 %   2424   19.0 %
      6 Glaurung 1.2.1                 : 2549   73  71    84    67.3 %   2424   17.9 %
      7 Crafty 20.14                   : 2545   77  74    84    66.7 %   2424    9.5 %
      8 Phalanx XXII                   : 2425   69  69    84    48.8 %   2433   16.7 %
      9 GreKo 5.2                      : 2354   72  73    78    37.2 %   2445   17.9 %
     10 EXchess 5.0.1 beta             : 2350   69  71    84    37.5 %   2438   17.9 %
     11 GreKo 5.1                      : 2330   76  78    78    34.0 %   2445   11.5 %
     12 GreKo 2.817                    : 2320   74  77    84    33.3 %   2440    9.5 %
     13 GNUChess 4 TM                  : 2307   76  79    84    31.5 %   2441    8.3 %
     14 HoiChess 0.6.1                 : 1985  149 121    84     6.0 %   2464    0.0 %
     15 TSCP 1.81                      : 1967  153 101    84     5.4 %   2466    1.2 %
  32. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    3
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Эта ветка еще жива?
    Интересно было бы протестировать Booot.
  33. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    А он с открытым кодом?
  34. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Да.

    http://wbec-ridderkerk.nl/html/details/Booot.html
  35. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.017
    Симпатии:
    2.226
    Репутация:
    88
    Адрес:
    Москва
    Оффлайн
    Скачал, изучаю :)

Поделиться этой страницей