Контроль времени для тестирования программ

Discussion in 'Машинное отделение' started by WinPooh, 31 Jul 2006.

  1. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Member Since:
    13.02.2006
    Message Count:
    9.491
    Likes Received:
    3.120
    Репутация:
    95
    Location:
    Москва
    Оффлайн
    Интересно было бы обсудить вопросы контроля времени. Что считать "честным" контролем для движков: фиксированное время? инкремент на ход? время на серию ходов? В соседних ветках высказывались самые разные мнения на этот счёт. Насколько контроль времени влияет на относительную силу разных программ?

    Что такое блиц, рапид, "длинный" контроль? Что лучше - много партий в блиц, или мало, но с длинным контролем? Где лежит "золотая середина"?

    Призываю к обмену мнениями. Особенно интересно послушать тех, кто проводит более-менее регулярное тестирование разных движков.
  2. krey Михаил Кройтор

    • Команда форума
    Member Since:
    10.04.2006
    Message Count:
    3.709
    Likes Received:
    50
    Репутация:
    1
    Location:
    Кишинев
    Оффлайн
    я считаю, что если хочется посмотреть красивую, качественную программу, то без длинного контроля не обойтись. правда, некоторые думают, что без ошибок в партии и красоты быть не может :)
  3. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Для тестирования движков лучше быстрые контроли. Рейтинги при длинных и коротких контролях почти всегда совпадают. Т.е. быстрые контроли позволяют получить более качественые рейтинги для > 95% программ. А есть ли исключения еще неизвестно.

    С другой стороны, если человек не просто тестирует, а еще и наблюдает за партиями, то тут лучше тот контроль, при котором человеку наиболее приятно следить за партией. Лично мне удобен 2+1. Т.к. я предпочитаю не вдаваться во внутренние тонкости борьбы, а предпочитаю любоваться внешней красотой.
  4. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Конкретный пример Eeyore - сильно играющий в блиц, но не так сильно играющий с длинными контролями.
  5. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    А где рейтинги?
  6. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
  7. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Не понял. И какой же вывод мы можем из всего этого сделать? По-моему никакого.

    Djinn набрал 17 очков (рейтинг 40/40 - 2402)
    Eeyore 14.5 (2417)

    Выходит Eeyory сильнее при длинных?

    Покажи конкретно на что ты намекаешь. На всякий случай стат. ошибка при 23 играх будет где-то 100 - 200 Эло.
  8. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Я привел ссылку на рейтинг 40/4 - в блиц.
    И турнир - Блиц.
    А вот с длинным контролем -
    http://wbec-ridderkerk.nl/html/3rddiv.htm
    предыдущий WBEC был примерно такой-же.
  9. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Там у них заголовок CEGT 40/40, поэтому неправильно понял.
    Все-таки очень мало игр. Нужно хотя бы несколько сотен.

    Если интересно могу устроить несколько матчей между Анечкой и Иа-Иа с разными контролями начиная с 1+0.
  10. Kirr Администратор

    • Команда форума
    Member Since:
    11.02.2006
    Message Count:
    1.208
    Likes Received:
    22
    Репутация:
    8
    Оффлайн
    Да, было бы очень интересно. Ещё интереснее было бы взять несколько движков, хотя бы 5, и устроить круговой турнир кругов на 100 с разными контролями. Можно всего с тремя, например 1+0, 5+0, 25+0.
  11. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Когда то делал такой. Но нехватило терпения довести до конца. Единственный результат это что Amyan теряет силу при увеличении контроля.

    Могу попробовать заново сделать. Будет 50 кругов. Думаю нужно не меньше 10 движков. Все должны играть примерно в одну силу.
    Anechka 0.08
    Eeyore 1.48
    WildCat 3 (есть подозрение, что сила игры падает с увелич. контроля)
    Amyan 1.595

    Предлагайте кандидатов!
  12. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Контроли думаю сделать такие:
    2+1
    8+4
    32+16
  13. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Можно еще включить Anechka 0.07 ?
    Она явно сильнее, чем 0.08 играет в Блиц, но должна играть слабее с длинными контролями (в версии 0.07 со временем "портится История", так как нет по ней (истории) сортировки ходов, соответственно ухудшается отбор ходов для LMR)
  14. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Обе версии включить? Или только 0.07?

    Что-то никто не предлагает какие движки включать в турнир. Совсем никому не интересно?
  15. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Member Since:
    13.02.2006
    Message Count:
    9.491
    Likes Received:
    3.120
    Репутация:
    95
    Location:
    Москва
    Оффлайн
    Ну, пусть Грека сыграет. Займёт последнее место :)
  16. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Обе. Я до сих пор не знаю какая их них сильнее играет на длинных контролях :)
    Я в версии 0.08 слишком мало режу по LMR, из-за этого идёт падение силы. Но специально не исправляю (так как и не добавляю превращения не в ферзя, контроль правила 50 ходов, не убираю в ФВ проверку на легальность и т.д.) - чтоб был дополнительный стимул переписать версию "с нуля".
  17. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Anechka 0.07
    Anechka 0.08
    Eeyore 1.48
    WildCat 3
    WildCat 4
    Amyan 1.592 (возьму версию постарше, не будет сильно всех остальных мочить)
    GreKo 3.3a

    Кого еще включить? Нужно еще 3.
  18. Мобуту спаситель нации

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    15.02.2006
    Message Count:
    6.916
    Likes Received:
    3.970
    Репутация:
    141
    Location:
    Заир
    Оффлайн
    Я считаю, что оптимальный контроль - с приличным инкременом за ход. Иначе много партий решаются грубыми ошибками ходу на 60-м, над которыми движок думал пару секунд. Мне нравится контроль типа 30 минут + 30 секунд за ход.
  19. TopicStarter Overlay

    WinPooh В.М.

    • Команда форума
    Member Since:
    13.02.2006
    Message Count:
    9.491
    Likes Received:
    3.120
    Репутация:
    95
    Location:
    Москва
    Оффлайн
    Предлагаю GnuChess 4 TM, Genesis 2.0 или Scidlet 3.6 - я их часто для тестирования использую. Scidlet из них самый сильный, вроде бы.
  20. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Zeus 1.27 можно добавить...
  21. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Еще были слухи, что Little Goliath играет намного лучше в блиц (лично я думаю, что наоборот).

    Нужны движки у которых есть подозрения на предпочтение короткого или длинного контроля.

    Anechka 0.07
    Anechka 0.08
    Eeyore 1.48
    WildCat 3
    WildCat 4
    Amyan 1.592
    GreKo 3.3a
    Little Goliath 3.9
    Zeus 1.27
    Scidlet 3.6

    Пока такой состав. Будут еще предложения?
  22. krey Михаил Кройтор

    • Команда форума
    Member Since:
    10.04.2006
    Message Count:
    3.709
    Likes Received:
    50
    Репутация:
    1
    Location:
    Кишинев
    Оффлайн
    а почему Amyan 1.592 а не 1.597?
  23. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Объяснял выше. Чтобы он не выносил всех со страшной силой. Со старой версией легче бороться будет.
  24. krey Михаил Кройтор

    • Команда форума
    Member Since:
    10.04.2006
    Message Count:
    3.709
    Likes Received:
    50
    Репутация:
    1
    Location:
    Кишинев
    Оффлайн
    ясно. а алфил последний не возьмешь?
  25. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Вместо Scidlet могу взять. Есть в нем что-то особенное?
  26. Kirr Администратор

    • Команда форума
    Member Since:
    11.02.2006
    Message Count:
    1.208
    Likes Received:
    22
    Репутация:
    8
    Оффлайн
    Wildcat, включите Little Goliath, любую версию! Очень интересно посмотреть как именно этот движок себя поведёт на разных контролях.
  27. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Новости КВН:
    Команда могилевского СПТУ палачей в очередной раз оказалась на голову выше своих соперников.
  28. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Вот состав участников:

    Alfil 6.7.1
    Amyan 1.592
    Anechka 0.07
    Anechka 0.08
    Eeyore 1.48
    GreKo 3.3a
    Little Goliath 2000 3.9
    WildCat 3
    WildCat 4
    Zeus 1.27
  29. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Хороший состав :)
    Может лучше контроли 1+1,5+1,25+1?
    А то просрочки будут.
  30. krey Михаил Кройтор

    • Команда форума
    Member Since:
    10.04.2006
    Message Count:
    3.709
    Likes Received:
    50
    Репутация:
    1
    Location:
    Кишинев
    Оффлайн
    у Alfila были когда-то глюки со временем, я автору говорил, он вроде бы исправил. только я не проверял :)
  31. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    У Alfila были проблемы не только со временем, но и с стабильностью работы - подвисания, некорректный PV и т.д.
    Не мог выиграть простейший пешечный эндшпиль...
  32. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Alfil не катит. Продул по времени в первой же партии. Имел 1.61 секунды на ход. И после хода нагло заявил, что использовал 1.719 сек.

    Предлагайте еще какой-нибудь интересный движок. Сила игры желательно в диапазоне 2300 - 2500.
  33. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Gaia. У неё резко выросла сила в Блиц, но при этом с длинными контролями вроде никаких изменений.
  34. WildCat Коршунов Игорь

    • Команда форума
    Member Since:
    04.05.2006
    Message Count:
    3.599
    Likes Received:
    4
    Репутация:
    0
    Location:
    Гомель
    Оффлайн
    Результаты после первого круга (контроль 2+1):

    Code:
     1. Amyan 1.592             8.5 / 9
     2. Little Goliath 2000 3.9 7.5 / 9
     3. WildCat 4               6.0 / 9
     4. WildCat 3               5.0 / 9
     5. Eeyore 1.48             4.0 / 9
     6. Zeus 1.27               4.0 / 9
     7. Gaia 3.5                4.0 / 9
     8. Anechka 0.08            4.0 / 9
     9. Anechka 0.07            2.0 / 9
    10. GreKo 3.3a              0.0 / 9
  35. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Member Since:
    02.05.2006
    Message Count:
    6.811
    Likes Received:
    96
    Репутация:
    3
    Location:
    Санкт-Петербург
    Оффлайн
    Что-то Анечка 0.07 совсем пролетает :(
    Но 9 партий не показатель :)
    А какая книга используется? Или Nunn2?

Share This Page