Клон-тест

Тема в разделе "Машинное отделение", создана пользователем Kirr, 19 май 2006.

  1. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Всем привет! Удалось наконец-то посчитать корреляцию для новых партий, спасибо Сергею Маркову и крею!

    Результаты по партиям крея. Явно видна аномалия, чем она вызвана я не знаю, крей, у вас есть версия? Делать любые выводы о клонах из этих данных пока нельзя. Все желающие могут скачать партии и посмотреть. Может быть виноват быстрый контроль, может быть что-то не в порядке с Crafty 17.04, может быть просто мало партий. (может глючит мой скрипт :)).

    Результаты по партиям полученным от Сергея Маркова. Патриот 2.0 ближе к Крафти чем к Фрукту. Партии сыграны в контроле 1+1, поэтому особенные выводы о сходстве или различии движков делать тоже нельзя - слишком быстрый контроль.

    Наши партии (CCRL). - матчи проведены мной и Рэем Банксом. Этим результатам я пока что больше доверяю, так как длиннее контроль времени (8 минут на 40 ходов, Athlon 64 3800+), и есть информация об ожидаемых ходах. Мало партий и мало версий движков.

    Если кто-то заинтересуется - проводите матчи и присылайте партии! Для полноценного анализа корреляции нужно:
    1. Партии в формате PGN, желательно полученным из оболочки Chessbase (Fritz, Shredder, etc).
    2. PGN должен хранить оценку позиции, глубину поиска, время затраченное на ход, и ожидаемый ход противника. Это может быть записано вот так:
    Код:
    29. Rb7 {(Rf7-c7) [%eval 88,11] [%emt 0:00:19]} b4 {[%eval 37,13] [%emt 0:00:18]}
    или так:
    Код:
    33. Bxc7 {1.52/14 102} f6 {(Nxc3) 0.78/15 26}
    3. Контроль времени - чем длиннее - тем качественнее оценка корреляции. Например 10 минут на 40 ходов - неплохой контроль. Всё что быстрее 5 минут на 40 ходов - видимо слишком быстро, по ощущению.

    Fruit проводит ещё один турнир. Жду партии! :)

    Любые вопросы или комментарии приветствуются!
  2. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    4
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Надо считать процент угаданных ходов. Разница выдаваемых оценок вряд ли полезна для нахождения клонов.
    Патриот 2.0 надо сравнивать с Toga II 0.93.
    Кстати, откуда у Вас Патриот 2.0?
  3. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Я и сам об этом выступаю на каждом собрании! Если проведёте матч и пришлёте партии, с удовольствием посчитаю процент угаданных ходов. Партии крея к сожалению не содержат информацию о предсказанных ходах. Партии Сергея содержат, но в слишком кривом формате. (Предпочитаемый формат - в моём посте выше).

    Как только кто-то пришлёт партии такого матча, будет статистика. :)

    У меня нет Патриота 2.0.
  4. krey Михаил Кройтор

    • Команда форума
    Рег.:
    10.04.2006
    Сообщения:
    3.709
    Симпатии:
    50
    Репутация:
    1
    Адрес:
    Кишинев
    Оффлайн
    версия насчет аномалии у меня есть идея, и еще какая :) дело в том, что я проводил тест на ОЧЕНЬ СЛАБОЙ машине (HP: Pentium 166, 128мб ОЗУ, Win98) с выделеннымым хэшем 8мб. Patriot подключался как UCI - и то ли я забыл ему проставить хэш, то ли еще что, но он пытался себе выделить постоянно 64 мб. иногда ему это не получалось...
  5. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Ну, это многое объясняет. :D Это видимо даже быстрее чем 1+1 Сергея. Для оценки схожести движков это слишком быстро! Да, забыл добавить, матч был без дебютных книжек??
  6. krey Михаил Кройтор

    • Команда форума
    Рег.:
    10.04.2006
    Сообщения:
    3.709
    Симпатии:
    50
    Репутация:
    1
    Адрес:
    Кишинев
    Оффлайн
    естественно :) но я сейчас запущу на AMD 2200+, каждому дам по 128 МБ, с тем же контролем.
  7. krey Михаил Кройтор

    • Команда форума
    Рег.:
    10.04.2006
    Сообщения:
    3.709
    Симпатии:
    50
    Репутация:
    1
    Адрес:
    Кишинев
    Оффлайн
    Партии 2 игранные Патриотом 1.3.0 под Ареной
  8. Fruit Александр

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    12.02.2006
    Сообщения:
    2.201
    Симпатии:
    64
    Репутация:
    3
    Оффлайн
    Уф! Мой турнир закончен.....

    1 Patriot 2.0 87.0/120
    2 Patriot 1.3.0 55.0/120
    3 Kaissa 1.8a 52.0/120
    4 Crafty 18.12 46.0/120
  9. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Чтоб формат привести к нужному - нужна обработка из пяти строк (а нужно ли приводить? Не проще ли написать обработку "под формат").
    Считать близость оценки абсолютно бесполезно, так как считается, что оценка была просто умножена на коэффициент (1.5) То есть нужен только процент угаданных ходов...
    Не могу понять - почему Сергей, если у него есть партии не мог посчитать его (процент угаданных ходов) сам.
  10. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Добрый день! Посчитал корреляцию по новым партиям полученным от крея и фрукта:

    Результаты по второй базе крея (krey). Результат по-прежнему аномальный, но теперь я понял почему. Арена сохраняет оценку не абсолютно (+1.0 - у белых пешка), а относительно (+1.0 - у меня лишняя пешка). :) Надо делать авто-определение формата арены чтобы правильно считать по этому формату. Пока что результаты смысла не имеют.

    Если у кого-то завалялась утилита для конвертирования файлов Арены в нормальный формат, буду рад.

    Результаты по партиям фрукта (Fruit): Разница оценки, Процент угаданных ходов. Формат PGN - родной для моих скриптов, поэтому всё должно быть правильно. "Контроль 5+2мин, хеш - 32мв, книга - использовал позиции типо нановских, мой комп: Р4 2530Mhz, 512мв.......". Комментарии приветствуются. :)
  11. bankuss Александр

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    24.05.2006
    Сообщения:
    1.084
    Симпатии:
    38
    Репутация:
    6
    Оффлайн
    в арене есть настройка относительно чего показывать оценку (относительно белых или движка)
  12. krey Михаил Кройтор

    • Команда форума
    Рег.:
    10.04.2006
    Сообщения:
    3.709
    Симпатии:
    50
    Репутация:
    1
    Адрес:
    Кишинев
    Оффлайн
    есть, конечно... только вот проблема в том, что теперь надо все это дело переигрывать, либо самому писать утилиту, что конвертит оценки :)
  13. bankuss Александр

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    24.05.2006
    Сообщения:
    1.084
    Симпатии:
    38
    Репутация:
    6
    Оффлайн
    это верно :) в каком виде данные? может попробовать сделать конвертер, пока время есть :)
  14. krey Михаил Кройтор

    • Команда форума
    Рег.:
    10.04.2006
    Сообщения:
    3.709
    Симпатии:
    50
    Репутация:
    1
    Адрес:
    Кишинев
    Оффлайн
    я уже почти написал. еще полчасика на тестирование, если шеф отвлекать не будет ;)
  15. Сергей Марков Учаcтник

    • Участник
    Рег.:
    13.05.2006
    Сообщения:
    136
    Симпатии:
    6
    Репутация:
    0
    Оффлайн
    На форуме CCC Корбит приводит результаты анализа распакованного exe-шника Patriot2006. Пока что они достоверно установили, что EPD-код и EGTB взяты у Crafty. Но на самом деле это может и ничего не значить, т.е. сам движок может быть оригинальным все же...
  16. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.492
    Симпатии:
    3.122
    Репутация:
    95
    Адрес:
    Москва
    Онлайн
    А разве в Крафти EGTB-код не тот же самый, что используют все кому не лень, почти официально?
  17. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Я думаю, что всё-таки большинство пишет код полностью самостоятельно, без единого заимствования.
    Тем более это относится к авторам сильных движков.
  18. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.492
    Симпатии:
    3.122
    Репутация:
    95
    Адрес:
    Москва
    Онлайн
    Собственно играющий код - да. Но для доступа к EGTB есть некий стандартный кусок, который Налимов разрешает использовать.
  19. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    4
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Обращал кто-нибудь внимание на такую странность: Рыбка всегда выводит четное число просмотренных позиций.

    Это очень похоже на махинации с выводом в стиле Патриота. Чтобы никто не заметил уж очень явную похожесть на Фрукта.

    Какие будут мнения?
  20. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Даже если и клон - то прибавка минимум 100 пунктов уже снимает все обвинения :)
    Тем более 60% прибавка быстродействия в x64 версии говорит о том.,что скорей всего используются БитБорды. А переписать полностью оценочную функцию под них - весьма серьезная работа, да и не оптимально будет - под битбордами должна быть другая оценочная функция.
    (а в переборных Алгоритмах Тоги/Фрукта ничего особенного нет)
  21. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Плюс у него что-то навороченное в переборных алгоритмах (очень маленький Бранчинг-фактор)
  22. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    На 8 делится... Число позиций...
  23. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Мне хочется тоже рыбку посмотреть, но под линукс нету версии. Мне Райлих написал, что это в его ближайших планах, но пока проблемы с переносом.

    Кстати, это еще один косвенный признак того, что не клон :)
  24. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Рыбка не клон фрукта, так как основана на битбордах. Но оценка позиции Рыбки очень сильно похожа на фруктовую. Есть версия что Райлих просто портировал оценку фрукта на битборды, заодно что-то улучшив по-мелочи. Но это лишь теория, утверждать ничего нельзя. Корреляцию между рыбками и фруктами (выборку из наших тестов) можно посмотреть здесь.

    atoku, вы не пробовали запускать рыбку через wine?
  25. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Нет, Kirr, не пробовал. Это мне предложил и Райлих, но я вежливо отказался. Дело в том, что 1) у меня нету wine на моих машинах, а ставить его неохота 2) я стараюсь воспитывать себя и других :) На вин не надо писать. Я вот мечтаю, что если когда-нибудь какая-нибудь моя новая прога станет очень популярной (всяко может быть :) ), то я запрещу ее портировать под вынь, оставив только юниксовые варианты :D
  26. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Кстати, у нас была довольно продолжительная переписка. Он в частности сказал, что рыбка написана на C+ :) Именно с одним плюсом. Просил писать через пару недель. Но и через месяц он опять ответил примерно то же: портируем, но есть проблемы, обязательно будет :) Вот я и жду.

    Но еще и цену они задрали :( Может оно того и не стоит. :) Я без нее прекрасно обхожусь...
  27. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Это будет жаль, так как я тогда не смогу её использовать. :( (Я не против Линукса на десктопе, если это не мой десктоп). :) Хотя если ФАР портируют под Линукс то всё может быть. :)
  28. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    ФАР?!!!! Да есть что-то вроде фара, называется Midnight Commander... только я сижу в консоли (чаще даже в emacs shell) ибо гораздо удобнее... для меня - хотя я уверен, что и для других.
  29. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    4
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    >Кстати, это еще один косвенный признак того, что не клон

    Это почему же?

    >Рыбка не клон фрукта, так как основана на битбордах

    Это кто сказал? Если человек скрывает то, что он делает клон, то может говорить что захочет. А может он и
    вправду решил перевести Фрукт на битборд. Попутно и усилил его.

    >На 8 делится... Число позиций...

    Вот зачем так делать, если ты не клон?
  30. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Потому что фрухт написан на линуксе!

    Наконец, было же интервью с Райлихом, где был впрямую задан вопрос насколько он позаимствовал из фрухта и Райлих сказал, что некоторые идеи по поиску и это усилило его программу где-то на 30 пунктов. Кроме того, он сказал, что такой вклад, как фрукт трудно переоценить для сообщества, но он слишком эгоистичен, чтобы повторить подвиг! Еще там было много об особенностях рыбки.
  31. bankuss Александр

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    24.05.2006
    Сообщения:
    1.084
    Симпатии:
    38
    Репутация:
    6
    Оффлайн
    ндя... где-только не ищут бедного фрукта :) все-таки удачный движок вышел, раз столько подозрений у всех! и главное не докажешь где он юзается... разве что ассемблерный код сравнивать :) кстати ни кто не пробовал? может там есть одинаковые куски кода? хотя если компилятор сменить, то можно многое поскрывать...
  32. TopicStarter Overlay

    Kirr Администратор

    • Команда форума
    Рег.:
    11.02.2006
    Сообщения:
    1.208
    Симпатии:
    22
    Репутация:
    8
    Оффлайн
    Использование рыбкой битбордов подтверждает Винсент Дипевен, который её дизассемблировал и подробно изучал. Также на битборды указывает существенный прирост скорости который рыбка получает на 64-битных процессорах, в отличие от фрукта (тоги). Клон рыбка или не клон я не знаю, но близость оценочной функции рыбки и фрукта слишком велика для совпадения, по-моему.

    Атоку, не флейма ради, но зачем мне Линукс? У меня не винде работает любой линуксовый софт который мне нужен, плюс скорость, удобство и надёжность винды, и доступность виндовых приложений. Для серьёзных занятий шахматами альтернативы винде пока что тоже нет. Линукс чтобы хотя бы поставить и настроить нужно родиться с пингвином на майке. :) (на самом деле мои сервера отлично работают под линуксом, но всему своё место. Линукс - под столом, винда - не столе. :)). Насчёт удобства shell аргументов нет, это дело привычки и вкуса. (Хотя эксперимента ради можно было бы устроить какой-нибудь тест - сколько времени займёт какой-нибудь сложный процесс в файл-менеджере и в шелле).
  33. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    4
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Atoku!

    Кто-нибудь кроме Райлиха может подтвердить его слова. В свое время Елин тоже много всякого рассказывал о Патриоте.

    Зачем Райлих вместо количества просмотренных позиций выводит вякую херню? Это уже подозрительно. Кроме этого сравнения CCRL.

    Проблема в том, что клоном нельзя бабки косить. А Райлих этого хочет. Разрешили бы продавать клоны и не было бы проблем.
  34. WildCat Коршунов Игорь

    • Команда форума
    Рег.:
    04.05.2006
    Сообщения:
    3.599
    Симпатии:
    4
    Репутация:
    0
    Адрес:
    Гомель
    Оффлайн
    Винсент Дипевен - это тот еще кадр. Самая скандальная личность за все время шахматного программирования.
  35. NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Еше и PV не до конца пишет, и такое впечатление что искажает скорость. :)

Поделиться этой страницей