Клон-тест

Тема в разделе "Машинное отделение", создана пользователем Kirr, 19 май 2006.

  1. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Всем привет! Удалось наконец-то посчитать корреляцию для новых партий, спасибо Сергею Маркову и крею!

    Результаты по партиям крея. Явно видна аномалия, чем она вызвана я не знаю, крей, у вас есть версия? Делать любые выводы о клонах из этих данных пока нельзя. Все желающие могут скачать партии и посмотреть. Может быть виноват быстрый контроль, может быть что-то не в порядке с Crafty 17.04, может быть просто мало партий. (может глючит мой скрипт :)).

    Результаты по партиям полученным от Сергея Маркова. Патриот 2.0 ближе к Крафти чем к Фрукту. Партии сыграны в контроле 1+1, поэтому особенные выводы о сходстве или различии движков делать тоже нельзя - слишком быстрый контроль.

    Наши партии (CCRL). - матчи проведены мной и Рэем Банксом. Этим результатам я пока что больше доверяю, так как длиннее контроль времени (8 минут на 40 ходов, Athlon 64 3800+), и есть информация об ожидаемых ходах. Мало партий и мало версий движков.

    Если кто-то заинтересуется - проводите матчи и присылайте партии! Для полноценного анализа корреляции нужно:
    1. Партии в формате PGN, желательно полученным из оболочки Chessbase (Fritz, Shredder, etc).
    2. PGN должен хранить оценку позиции, глубину поиска, время затраченное на ход, и ожидаемый ход противника. Это может быть записано вот так:
    Код:
    29. Rb7 {(Rf7-c7) [%eval 88,11] [%emt 0:00:19]} b4 {[%eval 37,13] [%emt 0:00:18]}
    или так:
    Код:
    33. Bxc7 {1.52/14 102} f6 {(Nxc3) 0.78/15 26}
    3. Контроль времени - чем длиннее - тем качественнее оценка корреляции. Например 10 минут на 40 ходов - неплохой контроль. Всё что быстрее 5 минут на 40 ходов - видимо слишком быстро, по ощущению.

    Fruit проводит ещё один турнир. Жду партии! :)

    Любые вопросы или комментарии приветствуются!
     
  2. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Надо считать процент угаданных ходов. Разница выдаваемых оценок вряд ли полезна для нахождения клонов.
    Патриот 2.0 надо сравнивать с Toga II 0.93.
    Кстати, откуда у Вас Патриот 2.0?
     
  3. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Я и сам об этом выступаю на каждом собрании! Если проведёте матч и пришлёте партии, с удовольствием посчитаю процент угаданных ходов. Партии крея к сожалению не содержат информацию о предсказанных ходах. Партии Сергея содержат, но в слишком кривом формате. (Предпочитаемый формат - в моём посте выше).

    Как только кто-то пришлёт партии такого матча, будет статистика. :)

    У меня нет Патриота 2.0.
     
  4. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    версия насчет аномалии у меня есть идея, и еще какая :) дело в том, что я проводил тест на ОЧЕНЬ СЛАБОЙ машине (HP: Pentium 166, 128мб ОЗУ, Win98) с выделеннымым хэшем 8мб. Patriot подключался как UCI - и то ли я забыл ему проставить хэш, то ли еще что, но он пытался себе выделить постоянно 64 мб. иногда ему это не получалось...
     
  5. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Ну, это многое объясняет. :D Это видимо даже быстрее чем 1+1 Сергея. Для оценки схожести движков это слишком быстро! Да, забыл добавить, матч был без дебютных книжек??
     
  6. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    естественно :) но я сейчас запущу на AMD 2200+, каждому дам по 128 МБ, с тем же контролем.
     
  7. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    Партии 2 игранные Патриотом 1.3.0 под Ареной
     
  8. Fruit
    Оффлайн

    Fruit Александр баннер

    Репутация:
    3
    Уф! Мой турнир закончен.....

    1 Patriot 2.0 87.0/120
    2 Patriot 1.3.0 55.0/120
    3 Kaissa 1.8a 52.0/120
    4 Crafty 18.12 46.0/120
     
  9. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Чтоб формат привести к нужному - нужна обработка из пяти строк (а нужно ли приводить? Не проще ли написать обработку "под формат").
    Считать близость оценки абсолютно бесполезно, так как считается, что оценка была просто умножена на коэффициент (1.5) То есть нужен только процент угаданных ходов...
    Не могу понять - почему Сергей, если у него есть партии не мог посчитать его (процент угаданных ходов) сам.
     
  10. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Добрый день! Посчитал корреляцию по новым партиям полученным от крея и фрукта:

    Результаты по второй базе крея (krey). Результат по-прежнему аномальный, но теперь я понял почему. Арена сохраняет оценку не абсолютно (+1.0 - у белых пешка), а относительно (+1.0 - у меня лишняя пешка). :) Надо делать авто-определение формата арены чтобы правильно считать по этому формату. Пока что результаты смысла не имеют.

    Если у кого-то завалялась утилита для конвертирования файлов Арены в нормальный формат, буду рад.

    Результаты по партиям фрукта (Fruit): Разница оценки, Процент угаданных ходов. Формат PGN - родной для моих скриптов, поэтому всё должно быть правильно. "Контроль 5+2мин, хеш - 32мв, книга - использовал позиции типо нановских, мой комп: Р4 2530Mhz, 512мв.......". Комментарии приветствуются. :)
     
  11. bankuss
    Оффлайн

    bankuss Александр баннер

    Репутация:
    6
    в арене есть настройка относительно чего показывать оценку (относительно белых или движка)
     
  12. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    есть, конечно... только вот проблема в том, что теперь надо все это дело переигрывать, либо самому писать утилиту, что конвертит оценки :)
     
  13. bankuss
    Оффлайн

    bankuss Александр баннер

    Репутация:
    6
    это верно :) в каком виде данные? может попробовать сделать конвертер, пока время есть :)
     
  14. krey
    Оффлайн

    krey Михаил Кройтор Команда форума Команда форума

    Репутация:
    1
    я уже почти написал. еще полчасика на тестирование, если шеф отвлекать не будет ;)
     
  15. Сергей Марков
    Оффлайн

    Сергей Марков Учаcтник

    Репутация:
    0
    На форуме CCC Корбит приводит результаты анализа распакованного exe-шника Patriot2006. Пока что они достоверно установили, что EPD-код и EGTB взяты у Crafty. Но на самом деле это может и ничего не значить, т.е. сам движок может быть оригинальным все же...
     
  16. WinPooh
    Онлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    А разве в Крафти EGTB-код не тот же самый, что используют все кому не лень, почти официально?
     
  17. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Я думаю, что всё-таки большинство пишет код полностью самостоятельно, без единого заимствования.
    Тем более это относится к авторам сильных движков.
     
  18. WinPooh
    Онлайн

    WinPooh В.М. Команда форума

    Репутация:
    95
    Собственно играющий код - да. Но для доступа к EGTB есть некий стандартный кусок, который Налимов разрешает использовать.
     
  19. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Обращал кто-нибудь внимание на такую странность: Рыбка всегда выводит четное число просмотренных позиций.

    Это очень похоже на махинации с выводом в стиле Патриота. Чтобы никто не заметил уж очень явную похожесть на Фрукта.

    Какие будут мнения?
     
  20. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Даже если и клон - то прибавка минимум 100 пунктов уже снимает все обвинения :)
    Тем более 60% прибавка быстродействия в x64 версии говорит о том.,что скорей всего используются БитБорды. А переписать полностью оценочную функцию под них - весьма серьезная работа, да и не оптимально будет - под битбордами должна быть другая оценочная функция.
    (а в переборных Алгоритмах Тоги/Фрукта ничего особенного нет)
     
  21. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Плюс у него что-то навороченное в переборных алгоритмах (очень маленький Бранчинг-фактор)
     
  22. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    На 8 делится... Число позиций...
     
  23. atoku
    Оффлайн

    atoku Модератор

    Репутация:
    0
    Мне хочется тоже рыбку посмотреть, но под линукс нету версии. Мне Райлих написал, что это в его ближайших планах, но пока проблемы с переносом.

    Кстати, это еще один косвенный признак того, что не клон :)
     
  24. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Рыбка не клон фрукта, так как основана на битбордах. Но оценка позиции Рыбки очень сильно похожа на фруктовую. Есть версия что Райлих просто портировал оценку фрукта на битборды, заодно что-то улучшив по-мелочи. Но это лишь теория, утверждать ничего нельзя. Корреляцию между рыбками и фруктами (выборку из наших тестов) можно посмотреть здесь.

    atoku, вы не пробовали запускать рыбку через wine?
     
  25. atoku
    Оффлайн

    atoku Модератор

    Репутация:
    0
    Нет, Kirr, не пробовал. Это мне предложил и Райлих, но я вежливо отказался. Дело в том, что 1) у меня нету wine на моих машинах, а ставить его неохота 2) я стараюсь воспитывать себя и других :) На вин не надо писать. Я вот мечтаю, что если когда-нибудь какая-нибудь моя новая прога станет очень популярной (всяко может быть :) ), то я запрещу ее портировать под вынь, оставив только юниксовые варианты :D
     
  26. atoku
    Оффлайн

    atoku Модератор

    Репутация:
    0
    Кстати, у нас была довольно продолжительная переписка. Он в частности сказал, что рыбка написана на C+ :) Именно с одним плюсом. Просил писать через пару недель. Но и через месяц он опять ответил примерно то же: портируем, но есть проблемы, обязательно будет :) Вот я и жду.

    Но еще и цену они задрали :( Может оно того и не стоит. :) Я без нее прекрасно обхожусь...
     
  27. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Это будет жаль, так как я тогда не смогу её использовать. :( (Я не против Линукса на десктопе, если это не мой десктоп). :) Хотя если ФАР портируют под Линукс то всё может быть. :)
     
  28. atoku
    Оффлайн

    atoku Модератор

    Репутация:
    0
    ФАР?!!!! Да есть что-то вроде фара, называется Midnight Commander... только я сижу в консоли (чаще даже в emacs shell) ибо гораздо удобнее... для меня - хотя я уверен, что и для других.
     
  29. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    >Кстати, это еще один косвенный признак того, что не клон

    Это почему же?

    >Рыбка не клон фрукта, так как основана на битбордах

    Это кто сказал? Если человек скрывает то, что он делает клон, то может говорить что захочет. А может он и
    вправду решил перевести Фрукт на битборд. Попутно и усилил его.

    >На 8 делится... Число позиций...

    Вот зачем так делать, если ты не клон?
     
  30. atoku
    Оффлайн

    atoku Модератор

    Репутация:
    0
    Потому что фрухт написан на линуксе!

    Наконец, было же интервью с Райлихом, где был впрямую задан вопрос насколько он позаимствовал из фрухта и Райлих сказал, что некоторые идеи по поиску и это усилило его программу где-то на 30 пунктов. Кроме того, он сказал, что такой вклад, как фрукт трудно переоценить для сообщества, но он слишком эгоистичен, чтобы повторить подвиг! Еще там было много об особенностях рыбки.
     
  31. bankuss
    Оффлайн

    bankuss Александр баннер

    Репутация:
    6
    ндя... где-только не ищут бедного фрукта :) все-таки удачный движок вышел, раз столько подозрений у всех! и главное не докажешь где он юзается... разве что ассемблерный код сравнивать :) кстати ни кто не пробовал? может там есть одинаковые куски кода? хотя если компилятор сменить, то можно многое поскрывать...
     
  32. Kirr
    Оффлайн

    Kirr Команда форума Команда форума

    Репутация:
    8
    Использование рыбкой битбордов подтверждает Винсент Дипевен, который её дизассемблировал и подробно изучал. Также на битборды указывает существенный прирост скорости который рыбка получает на 64-битных процессорах, в отличие от фрукта (тоги). Клон рыбка или не клон я не знаю, но близость оценочной функции рыбки и фрукта слишком велика для совпадения, по-моему.

    Атоку, не флейма ради, но зачем мне Линукс? У меня не винде работает любой линуксовый софт который мне нужен, плюс скорость, удобство и надёжность винды, и доступность виндовых приложений. Для серьёзных занятий шахматами альтернативы винде пока что тоже нет. Линукс чтобы хотя бы поставить и настроить нужно родиться с пингвином на майке. :) (на самом деле мои сервера отлично работают под линуксом, но всему своё место. Линукс - под столом, винда - не столе. :)). Насчёт удобства shell аргументов нет, это дело привычки и вкуса. (Хотя эксперимента ради можно было бы устроить какой-нибудь тест - сколько времени займёт какой-нибудь сложный процесс в файл-менеджере и в шелле).
     
  33. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Atoku!

    Кто-нибудь кроме Райлиха может подтвердить его слова. В свое время Елин тоже много всякого рассказывал о Патриоте.

    Зачем Райлих вместо количества просмотренных позиций выводит вякую херню? Это уже подозрительно. Кроме этого сравнения CCRL.

    Проблема в том, что клоном нельзя бабки косить. А Райлих этого хочет. Разрешили бы продавать клоны и не было бы проблем.
     
  34. WildCat
    Оффлайн

    WildCat Коршунов Игорь Команда форума

    Репутация:
    0
    Винсент Дипевен - это тот еще кадр. Самая скандальная личность за все время шахматного программирования.
     
  35. NS
    Оффлайн

    NS Нефёдов Сергей баннер

    Репутация:
    3
    Еше и PV не до конца пишет, и такое впечатление что искажает скорость. :)