WildCat: нужны тестеры

Тема в разделе "Машинное отделение", создана пользователем WildCat, 26 окт 2006.

  1. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    а вот и первые результаты пошли у людей... Особо впечатляет Test Tournament.
    Неплохо начал в турнире у Graham Banks
     
  2. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Тестирование Ларса Халлерстрема показало, что WildCat 7 превосходит WildCat 4 на 175 пунктов.
    Жаль, что он не тестировал версии 5 и 6.
     
  3. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Wildcat 7 - Ruffian 1.0.5: 18.5 − 13.5 (+11−6=15)

    Контроль CCRL 40/40, общая книжка (Arena Mainbook 7.04, до 8 ходов), 256 MB, пятифигурные таблицы Налимова.

    Судя по всему должен войти в первую десятку бесплатных движков.
     
  4. Инсайдер
    Оффлайн

    Инсайдер Bruce Wayne

    Репутация:
    0
    а когда следующая версия появится?
     
  5. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    [CCRL 40/40] Wildcat 7 - List 5.12: 17.5 - 14.5 (+11-8=13)
     
  6. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Почему-то у меня WildCat под Ареной при игре по 1 минуте на партию регулярно проигрывает по времени...
     
  7. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Пух, не нужно использовать Арену для тестов по минуте на партию. Арена известна медленным интерфейсом с движками, это сказывается в быстрых партиях. В арене нужно ставить где-то 4+2 или 40/5 для достоверных результатов.
     
  8. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Почему-то на пяти остальных движках, которые я запустил в турнир (Фараон, Лист, Дельфи, ПроДео, Аристарх) этот медленный интерфейс никак не сказался. Все прекрасно укладываются в минуту. И даже по 15 секунд на партию играют без проблем, и всё под Ареной...
     
  9. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Ну что поделать. Если бы баг влиял на все движки его бы уже наверное исправили. Видимо некоторые движки оставляют меньше резерв времени и пролетают иногда. У меня Wildcat 7 ни разу не проиграл по времени в Арене и оболочках Chessbase, в длинном контроле. (в порядка 100 партиях).
     
  10. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Я в расчетах времени, которое тратиться на ход - закладывюсь на лаг Арены.
    Некоторые Движки (Hiarcs UCI) выносят значение этого Лага в настройку.
     
  11. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    А я в Греке поступаю по рабоче-крестьянски: всегда делю оставшееся время на 40, независимо даже от типа контроля. Работает железно, просрочек времени не бывает даже при секунде на партию (я проверяю время через каждые 8192 узлов, что ли...)
     
  12. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Сколько силы ты на этом теряешь? :)
    1. Программа в начале партии должна тратить больше времени, чем в конце.
    2. Неравномерность (отход времени на обдумывание от идеального графика) понижает силу
    3. Если программа завершила расчет с некоторым depth, пошла на следующий уровень, но тот был прерван - всё время потраченно на расчет незаконченного уровня можно считать потерянным...
     
  13. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    NS и WinPooh! Все это не катит под Ареной.
    Если движок шлет много инфы Арене, то она тормозит около 0.1 - 0.3 сек на ход. Даже если движок шлет ход через 0.001 сек.

    Единственный выход - это не слать инфу о переборе в течении первой секунды.

    "- Нет! На это я пойтить не магу!"
     
  14. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Игорь, спорим? Заставь версию 0.08 просрочить время под ареной по минуте на партию :)
     
  15. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Это время не совсем потеряно. В хэше остаётся кое-какая информация - лучшие ходы для просмотренных позиций, например...
     
  16. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Эта информация в данном случае - ничего не стоит...
     
  17. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Она начнёт стоить в следующем поиске, когда надо будет упорядочивать ходы в повторно встреченных позициях.
     
  18. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    В следущем поиске она будет стоить на 2 Ply меньше, либо исходя из потраченного на её получение времени - в 4-10 раз дешевле.
    Эффективность потраченного на получение этой информации времени - меньше 20%...
     
  19. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Т.е. имеет смысл заканчивать поиск ровно после очередной итерации, если возможно?
     
  20. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Да, если мало шансов закончить следующую итерацию, либо если законченная следующая итерация (по расчетному времени) здорово превышает необходимое по графику время.
    И имеет смысл потратить побольше времени в случае резкого изменения оценки.
    Например на данной глубине у нас был в корне выход за [Альфа-Дельта,Альфа+Дельта]
    Тогда имеет смысл увеличить на этой глубине аварийку. И возможна трата времени большем чем расчетное по графику (переход на следующую глубину обдумывания, несмотря на то что потратили достаточно много времени)
     
  21. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Она у тебя выводит мало инфы для GUI. Или Арена вывод UCI-движков разбирает лучше.
     
  22. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Заложен средний лаг на ход (точно не помню, но вроде 100мс), и максимальный лаг.
    При этом падение силы не более 10 пунктов, и падение силы возможно только с суперкороткими контролями - так как на лаг отводится не более 10% расчетного времени.
    (то есть с совсем суперкороткими контролями программа всё-таки будет ронять флаг, но даже по 20 секунд на партию это происходит не очень часто)
    А вывод - вывода достаточно, но не с суперкороткими контролями :)
    Пока времени на обдумывание потрачено мало - вывод ограничен.
    А протоколы - и UCI и WinBoard Арена разбирает одинаково. Лаг у ней похоже из-за того, что она просто редко проверяет трубу...

    а насчет закладывания на Лаг - Недавно оно появилось в Хиарксе, видимо для игры на ПлейЧесс, и для той-же самой Арены.
     
  23. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Проверил. WildCat почти всегда выводит около 20 строк, в то время как Анечка только одну.
    Арена просто душит такие движки.
     
  24. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    До какого-то момента я не вывожу обдумываемые ходы и количество просмотренных позиций.
    А потом - делаю вывод достаточно часто. Но не вывожу не PV варианты. (Шреддер выводит)
     
  25. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    WildCat очень легко может за 10 секунд успеть сыграть 200-ходовую партию без всяких лагов.
    Почему я должен беспокоиться о глючных оболочках?

    Я тестировал около 1000 партий на 10 секундах на все. Ни разу не было никаких проблем со временем.
     
  26. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    у меня просто когда я писал - Кроме Арены на компе ничего не было :(
    Пришлось приспосабливаться под неё. Но теперь я ею конечно не пользуюсь.
    Её колбасит просто не по-детски, и кроме лагов - в ней еще и полно ошибок.
     
  27. WinPooh
    Оффлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Перешёл на контроль 1+1. Просрочек больше нет, после первых туров WildCat в лидерах. Как доиграю (планирую прогнать 6 кругов) - сообщу результаты.
     
  28. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    [CCRL 40/40] Wildcat 7 - Pharaon 3.5.1 1-CPU: 15.5 - 16.5 (+12-13=7)
     
  29. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    упс! а у меня кошка седьмая при контроле 2+2 на ста партиях порвала фараона +12
     
  30. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Всегда в одних матчах везёт в других нет. У меня сейчас запущены ещё четыре матча Wildcat 7 - с Delfi 5.0, Aristarch 4.50, Zappa 1.1 64-bit 1-CPU и Slow Chess Blitz WV2.1. К концу следующей недели должно быть около 300 партий в сумме. По текущим результатам 7-я версия на 35 пунктов сильнее 6-й.

    Матчевый перформанс 7-й версии (только по моим трём матчам):
    Код:
    Wildcat 7 (2735) - List 5.12 (2726)        17.5-14.5  (+11-8 =13)  +19
    Wildcat 7 (2735) - Pharaon 3.5.1 (2718)    15.5-16.5  (+12-13=7 )  -30
    Wildcat 7 (2735) - Ruffian 1.0.5 (2716)    18.5-13.5  (+11-6 =15)  +29
    Так что как минимум ему повезло с Руффианом.
     
  31. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Что-то кошка звереет постепенно: 4.5 - 0.5 c Colossus 2006f. Такими темпами скоро можно будет и рыбку съесть. :)
     
  32. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Обновился рейтинг лист CCRL 40/40. :)

    Wildcat 7 сыграл уже 156 партий и поэтому появился на 6-й позиции среди бесплатных однопроцессорных движков и на 15-й в общем зачёте. (150 - минимальное число партий чтобы получить место #N (ранг)).

    Результаты Wildcat 7,
    Сравнение с шестой версией.

    Уже после обновления у меня закончился матч Wildcat 7 - Delfi 5.0: 18.5 - 13.5 (+11-6=15)

    Выводы делать рано, мало партий, интервал +45 -45... Но похоже серьёзно усилился.. Скоро можно будет продавать. :D
     
  33. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Интересно, но с ростом времени на обдумывание (согласно рейтингам CCRL) Кошка увеличивает силу быстрее Конкурентов...
    4/40 кошка 10-ая (среди бесплатных 32-ух битных)

    http://www.computerchess.org.uk/ccrl/404/cgi/compare_engines.cgi?class=Free+32-bit+single-CPU+engines&print=Rating+list&print=Results+table&print=LOS+table&table_size=12&cross_tables_for_best_versions_only=1
    40/40 кошка уже 6-ая.
    http://www.computerchess.org.uk/ccr...size=12&cross_tables_for_best_versions_only=1

    4/40 среди всех движков Кошка 23-яя.
    http://www.computerchess.org.uk/ccrl/404/rating_list_pure.html
    40/40 Кошка 17-ая.
    http://www.computerchess.org.uk/ccrl/4040/rating_list_pure.html
     
  34. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Скорее всего из-за того, что еще мало партий.

    А вообще, у меня было обратное подозрение, что последняя версия усилилась в основном только на быстрых контролях. Но видимо это не так.
     
  35. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Ежели исправил IID, который больше сказывается на длинных контролях - то ситуация должна была поменяться в пользу длинных контролей...
    Хотя при очень хороших сортировках IID сильно помогать наверно не должен.