Опрос мо мотивам ветки "Топалов - читер?" Сила шахматных програм.

Тема в разделе "Кухня", создана пользователем NS, 2 авг 2006.

  1. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Хорошо. Но все эти Ваши рассуждения ровным счетом ничего не меняют. Косвенные оценки, спекуляции. Пусть между Deep Blue Jr и Deep Blue разница не 160 в рейтинге, а 100 (с учетом, как Вы говорите, неразвитости алгоритмов). Пусть даже еще меньше. Имеем 22 партии. И результаты эти никак не подтверждают Ваш тезис, что сила Deep Blue II - максимум 2650. Да, 22 партии мало. Но 5 партий, сыгранных к тому же другой программой, на которых Вы строите свои расуждения - это совсем мало.

    >А Гидра... Вы будете утверждать что Гидра играет сильнее Рыбки?
    Хотел бы я это знать. Вы, судя по всему, знаете :)
  2. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    На самом деле при разнице в 200 пунктов, результат 100% победа одной программы. Я тут посмотрел тесты и удивился, что на 200 пунктов более слабая программа вообще сливает всегда, 100 матчей из 100. Потому, подборка даже из 5 партий, где есть победы и той и другой программы говорит, что разница в пределах 200.

    У человека очевидно все совсем не так.
  3. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
  4. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    +18-2=10 - это по-вашему 75%? По-моему, это немного больше. И так вся статистика. Разница 200 пунктов дает в лучшем случае что-то в этом духе.
  5. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Это 76.7 :) Вам нужно, чтобы было ровно 75?
  6. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Может и так, но может ничьи не считать?
  7. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Здорово Вы меня озадачили. Их все считают, даже e271 :)
    По-видимому, Вы хотите что-то объяснить, но что именно - я не пойму. То, что прототип deep blue играл несильно?
  8. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Наоборот. Я просто хочу сказать, что рейтинги для программ - вещь относительная, когда эти рейтинги мерят при игре лишь с программами. И вообще-то на вашей стороне, думаю Deep был сильнее, чем 2700 в то время при игре с людьми. Но не факт что он бы получил такой рейтинг с программами.
  9. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Конечно есть. Если есть турниры с участием обеих программ - значит можно сравнить их силу.

    При разнице в рейтинге в 200 пунктов программа набирает 75%
    Так же как и человек. Выборку можно сделать по любой базе.
    Например у Анечки на том-же UEL в Активе несколько побед над SOS, Fruit, Zappa и т.д.
  10. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Немного не так. В то время Deep Blue показал такой результат с людьми.
    А интересует - какой результат Deep Blue покажет сейчас, когда люди научились бороться с программами, а не тогда...

    А приводить пример с 75% при разнице в 200 пунктов, как опровержение теории ЭЛО для матчей программ немного несерьезно :))) И после того как показали, что 75% и есть - продолжать отстаивать свою точку зрения - тоже несерьезно :)
  11. WinPooh В.М.

    • Команда форума
    Рег.:
    13.02.2006
    Сообщения:
    9.494
    Симпатии:
    3.126
    Репутация:
    95
    Адрес:
    Москва
    Оффлайн
    Программы тоже научились бороться с людьми. "Антикомпьютерная" стратегия десятилетней давности, запирание позиции с пешечными цепями через всю доску, ранние размены ферзей и т.п. не очень теперь помогают. Адамс тому примером...
  12. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    А причем тут это?
    Вопрос же стоит по другому - какой результат покажет Deep Blue (именно версия для матча с Каспаровым) сейчас. Люди научились, а программа та же. С Фрицем3 тоже самое - тогда он мог против людей показывать любые результаты - интресует что он может показать сейчас, тем более что он вполне осязаем, его можно "пощупать", сыграть с ним партию. А с человеком из прошлого сыграть партию невозможно :)
  13. atoku Модератор

    • Команда форума
    Рег.:
    05.02.2006
    Сообщения:
    2.949
    Симпатии:
    9
    Репутация:
    0
    Адрес:
    USA
    Оффлайн
    Да нет, я был не прав, если даже Анечка била крутых. Хотя я же ведь совсем недавно смотрел таблицы, ссылки на которые приводит Kirr. И там у всех кто ниже плинтуса нули с теми у кого выше :) Не понимаю...
  14. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Как это не понимаешь :)
    Достаточно слабые движки на UEL (слабее 2200) Получают рейтинг играя с движками значительно сильнее себя, а потом начинают играть только с Движками в резерве (значительно более слабыми)
    Но рейтинг их ппри этом не меняется!!!!
    Так что нет такой зависимости. Движок наберет 75% с тестовой группой, которая слабее его на 200 пунктов, и 25% с тестовой группой которая сильнее его на 200 пунктов.
    И надо учитывать погрешность рейтинга. Которая идет от конкретного соперника (удобен/не удобен по стилю), и связанной с теорией вероятности. По 100 партиям примерно +-100 пунктов. (со стандартным допуском вероятности)
    И чем больше разница в силе соперников - тем больше партий надо наиграть для хорошей достоверности рейтинга.

    По 22 партиям погрешность составляет многие сотни пунктов :) Что пытаются донести на многих форумах. Если нужны математические расчеты - я могу их представить (написать) в этой ветке.
  15. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Вот вероятности разного результата по матчу из 22 партий среди равных соперников. В случае если вероятность ничьи равно вероятности победы и вероятности проигрыша (везде 1/3)
    0.00 0.000%
    0.50 0.000%
    1.00 0.000%
    1.50 0.000%
    2.00 0.000%
    2.50 0.000%
    3.00 0.001%
    3.50 0.003%
    4.00 0.009%
    4.50 0.026%
    5.00 0.068%
    5.50 0.157%
    6.00 0.336%
    6.50 0.658%
    7.00 1.190%
    7.50 1.994%
    8.00 3.104%
    8.50 4.497%
    9.00 6.077%
    9.50 7.670%
    10.00 9.051%
    10.50 9.993%
    11.00 10.328%
    11.50 9.993%
    12.00 9.051%
    12.50 7.670%
    13.00 6.077%
    13.50 4.497%
    14.00 3.104%
    14.50 1.994%
    15.00 1.190%
    15.50 0.658%
    16.00 0.336%
    16.50 0.157%
    17.00 0.068%
    17.50 0.026%
    18.00 0.009%
    18.50 0.003%
    19.00 0.001%
    19.50 0.000%
    20.00 0.000%
    20.50 0.000%
    21.00 0.000%
    21.50 0.000%
    22.00 0.000%
  16. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    А вот вероятность в случае разницы в силе в 200 пунктов. (вероятность поражения 15%, ничьи 20%, победы 65%)
    Код:
     0.00        0.000%
     0.50        0.000%
     1.00        0.000%
     1.50        0.000%
     2.00        0.000%
     2.50        0.000%
     3.00        0.000%
     3.50        0.000%
     4.00        0.000%
     4.50        0.000%
     5.00        0.000%
     5.50        0.000%
     6.00        0.000%
     6.50        0.000%
     7.00        0.000%
     7.50        0.000%
     8.00        0.001%
     8.50        0.002%
     9.00        0.005%
     9.50        0.012%
    10.00        0.029%
    10.50        0.065%
    11.00        0.139%
    11.50        0.280%
    12.00        0.535%
    12.50        0.964%
    13.00        1.636%
    13.50        2.616%
    14.00        3.935%
    14.50        5.560%
    15.00        7.365%
    15.50        9.124%
    16.00       10.541%
    16.50       11.316%
    17.00       11.240%
    17.50       10.273%
    18.00        8.583%
    18.50        6.498%
    19.00        4.410%
    19.50        2.642%
    20.00        1.369%
    20.50        0.595%
    21.00        0.206%
    21.50        0.052%
    22.00        0.008%
    То есть с вероятностью 99.7% программа может набрать 11-21 очков из 22. Силу в случае разницы в 200 пунктов получим от +0 до +(не помню точно, сколько разница при 95.5% ? :))
  17. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    To NS

    У меня для Вас две новости. И обе плохие :) Во-первых, на 22 партиях среднее отклонение рейтинга будет не сотни пунктов, как Вы пишете. Произведем простую оценку «на пальцах». Пусть, как Вы и полагаете, вероятность исхода выигрыш, ничья и проигрыш равновероятны. На самом деле ничьи встречаются гораздо чаще. Но пусть. Сделаем Вам приятно. Кроме того, в этом случае мы сможем говорить об оценке сверху. Итак, среднеквадратичное отклонение 0.4. На N партиях среднеквадратичное отклонение результата порядка 0.4*sqrt(N). Для 22 партий 1.9. Результат 12.9/9.1 соответствует разнице в рейтинге 60. Поэтому оценка сверху для среднеквадратичного отклонения рейтинга 60. Грубо говоря, с такой точностью нам известен рейтинг Deep Blue.

    Вторая плохая новость. «Реальный» рейтинг может оказаться не только ниже, но и с такой же вероятностью выше указанного.
  18. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Я привел точные цифры отклонения, а вы пытаетесь после этого посчитать на пальцах... :)
    Наверно это немного странно? :)
    Давайте вероятность ничьи, и я вам выложу результат.
  19. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    IMHO хороший вкус заключается в том, что когда нет точных исходных данных не следует приводить псевдоточные расчеты с длинными таблицами, а следует ограничиться простой оценкой. Кроме того, Вы ведь не сделали оценку отклонения рейтинга. Зачем Вы привели эти таблицы? Каким образом они могут подтвердить отклонение рейтинга в сотни пунктов?
  20. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Среднеквадратичное посчитали почти правильно - оно чуть больше 1.95, но на три случайно умножить не забыли?
  21. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Мой предыдущий пост может подвердить. Но 200 пунктов отклонения - Это в случае равных соперников. Даже если "средний соперник" играл в силу Deep Blue, то каждый в отдельности имел отклонение. А при этом отклонение начинает возрастать!!!
  22. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Кстати, таблицы я приводил для Atoku, совсем по другому поводу.
  23. Мобуту спаситель нации

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    15.02.2006
    Сообщения:
    6.957
    Симпатии:
    4.032
    Репутация:
    143
    Адрес:
    Заир
    Оффлайн
    Средний рейтинг Deep Blue по опросу получается 2694, если считать, что попадание в каждый рейтинговый интервал соответствует попаданию в его середину, верхний интервал 2800-3000, нижний 2000-2200.
  24. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Оценку отклонения точнее производить по вероятности.
    Вот посчитал процент нарастающим, и смотрите вероятное отклонение результата по вероятности...
    Неужели самому тяжело найти строку в таблице согласно принятому в данном случае допуску?
    Результат для вероятности 1/3, 1/3, 1/3
    Код:
       0.0        0.000%       0.000%     100.000%
       0.5        0.000%       0.000%     100.000%
       1.0        0.000%       0.000%     100.000%
       1.5        0.000%       0.000%     100.000%
       2.0        0.000%       0.000%     100.000%
       2.5        0.000%       0.000%     100.000%
       3.0        0.001%       0.001%     100.000%
       3.5        0.003%       0.004%      99.999%
       4.0        0.009%       0.013%      99.996%
       4.5        0.026%       0.040%      99.987%
       5.0        0.068%       0.107%      99.960%
       5.5        0.157%       0.264%      99.893%
       6.0        0.336%       0.600%      99.736%
       6.5        0.658%       1.258%      99.400%
       7.0        1.190%       2.448%      98.742%
       7.5        1.994%       4.442%      97.552%
       8.0        3.104%       7.546%      95.558%
       8.5        4.497%      12.043%      92.454%
       9.0        6.077%      18.121%      87.957%
       9.5        7.670%      25.791%      81.879%
      10.0        9.051%      34.842%      74.209%
      10.5        9.993%      44.836%      65.158%
      11.0       10.328%      55.164%      55.164%
      11.5        9.993%      65.158%      44.836%
      12.0        9.051%      74.209%      34.842%
      12.5        7.670%      81.879%      25.791%
      13.0        6.077%      87.957%      18.121%
      13.5        4.497%      92.454%      12.043%
      14.0        3.104%      95.558%       7.546%
      14.5        1.994%      97.552%       4.442%
      15.0        1.190%      98.742%       2.448%
      15.5        0.658%      99.400%       1.258%
      16.0        0.336%      99.736%       0.600%
      16.5        0.157%      99.893%       0.264%
      17.0        0.068%      99.960%       0.107%
      17.5        0.026%      99.987%       0.040%
      18.0        0.009%      99.996%       0.013%
      18.5        0.003%      99.999%       0.004%
      19.0        0.001%     100.000%       0.001%
      19.5        0.000%     100.000%       0.000%
      20.0        0.000%     100.000%       0.000%
      20.5        0.000%     100.000%       0.000%
      21.0        0.000%     100.000%       0.000%
      21.5        0.000%     100.000%       0.000%
      22.0        0.000%     100.000%       0.000%
    Средний квадрат отклонения 3.91666666666620319444
  25. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    >>Среднеквадратичное посчитали почти правильно - оно чуть больше 1.95,

    Ну Вы и зануда :) Считали Вы. Я оценивал. И привел два знака.

    > но на три случайно умножить не забыли?

    Мне нет в этом нужды. Оценка силы Deep Blue II - 2850, среднеквадратичное отклонение оценки - 60.

    > Кстати, таблицы я приводил для Atoku, совсем по другому поводу.

    Тогда пусть Atoku и мучается :)
  26. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    > Средний квадрат отклонения 3.91666666666620319444

    Потрясающая точность :)
  27. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Да, среднеквадратичное 60 с небольшим, соответственно допуск (по 0.3%) +- 200 пунктов.
    В случае равных соперников. Не будете же вы утверждать что сам Deep Blue, и его соперники - все играли в одинаковую силу?
    Я не зануда, вы меня обвинили в том, что я неправильно дал оценку допуска в случае 22-ух партий, а я вам ответил что вы просто забыли умножить на три. А при разнице силы в 200 пунктов - допуск сразу резко возрастает.

    PS.
    Сможете прикинуть среднеквадратичное на пальцах для 15%, 20%, 65% ? :)
    А насчет силы - речь идёт о том, что просто тогда не умели бороться с программами. Каспаров сливал Фрицу3, который сейчас оценивается слабее 2250...
  28. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Программу расчета я написал на 1С, а она хранит ВСЕ!!!! Знаки при сложении, умножении и вычитании :)
    Так что как программа мне вывела, так я и выложил в форум. :)
  29. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    morkoffkin написал:
    что когда нет точных исходных данных не следует приводить псевдоточные расчеты с длинными таблицами

    А почему расчеты "Псевдоточные"? Это уже наезд и клевета!
    Расчеты абсолютно точные!!! Выполнены при помощи умножения вероятностей.
  30. Alexander Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    12.02.2006
    Сообщения:
    3.619
    Симпатии:
    1.611
    Репутация:
    43
    Онлайн
    Пусть человек (знающий как играть против машины) без компьютера обыграет Гидру хотя бы один раз :) А то как-то не вполне понятна сила этого несильного создания.
  31. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    В Адвансе Гидра встала ниже Рыбки. Сила Рыбки известна (в рейтинге есть программы которые играли матчи с людьми), так что примерно оценить можно. Оценка сверху 2950-3000.
  32. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    to NS

    > А почему расчеты "Псевдоточные"? Это уже наезд и клевета!
    Псевдоточные они потому что Вы берете исходные данные с потолка, а потом считаете по ним с немыслимой точностью. Не стильно.

    Где берете данные по адвансу?
  33. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    Я программист - и наверно не должен вносить в программу ошибки для того чтоб получить другие результаты :)
    А потом я же предложил - прикиньте среднее, и среднеквадратичное отклонение - допустим по 20 партиям (по 22-ум я цифры привел)
    в случае вероятностей выигрыша 15%, ничьи 20% и победы 65%.
    И зачем мне прикидывать в уме, если на написание программы у меня ушло 5 минут? И вся программа - 30 строк.
    Какие данные с потолка? Вы читать умеете? Это был ответ Атоку!
  34. TopicStarter Overlay

    NS Нефёдов Сергей

    • Заслуженный
    • Ветеран
    • Старожил
    Рег.:
    02.05.2006
    Сообщения:
    6.811
    Симпатии:
    96
    Репутация:
    3
    Адрес:
    Санкт-Петербург
    Оффлайн
    На этом Форуме, на сайте Рыбки www.rybkachess.com и т.д.
    http://www.rybkachess.com/index.php?auswahl=Tournaments
    http://www.rybkachess.com/docs/Freestyle_main.htm
  35. morkoffkin Учаcтник

    • Участник
    Рег.:
    19.02.2006
    Сообщения:
    298
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    > И зачем мне прикидывать в уме, если на написание программы у меня ушло 5 минут? И вся программа - 30 строк.

    Молодец. А у меня 30 сек. на оценку в уме :)

    > А потом я же предложил - прикиньте среднее, и среднеквадратичное отклонение - допустим по 20 партиям (по 22-ум я цифры привел)
    в случае вероятностей выигрыша 15%, ничьи 20% и победы 65%.

    Ну прикинул :) Зачем все это :)

    > Какие данные с потолка? Вы читать умеете? Это был ответ Атоку!
    > В случае если вероятность ничьи равно вероятности победы и вероятности проигрыша (везде 1/3)
    > На самом деле ничьи встречаются гораздо чаще. Но пусть. Сделаем Вам приятно.
    Мы пошли уже по второму кругу. Надо закругляться.

Поделиться этой страницей