Leela Chess Zero (lc0): турниры, партии, рейтинги...

Еще одна сеть.

Что-же, пока Сток заборол Лилу. Но и Лила выступила очень достойно. Результативных партий хватает,- не в пример предыдущим сезонам, причём не в одну калитку. Лила даже вела в счёте.
Как всегда важна альтернативная оценка позиции - отличная от движка чемпиона (видимо это и есть уже упоминавшиеся новые позиционные горизонты).

А в 8-м сезоне было всего 11 результативных партий. Мне кажется, это больше зависит от выбора дебютов. И даже в этом сезоне после супер-результативных первых 30 партий дебюты подкрутили, и ничьих стало намного больше.

Кто-нибудь может обьяснить что означает Ордо Эло? Вот например 5я сеть сейчас обошла 4ю. Но это же ведь не значит, что она сильнее? Это Эло можно как то сравнить с Эло классических движков?

Для начала надо понять что такое Эло. Большинство вопросов отпадут сами собой.

Я догадываюсь что такое Эло, просто как рачитывалось самоЭло было понятно, как расчитывают Ордо? Чем оно удобней?

Ordo это программа для обсчета рейтинга.

А я подведу итог, чтобы прервать возможные дискуссии и споры о том, кто сильнее - Лила или Stockfish. Какой ответ? Неизвестно.
Доказательство имеется. Здесь игры TCEC с Lc0 32930 и Lc0 32194. Погрешности настолько большие, что 10 пунктов разницы вы тут не разглядите, увы

Код:

   # PLAYER                 :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  OppAvg
   1 Stockfish 181224       :  3483.3   69.1    29.0      42    69      87   16   26    0    62  3336.4
   2 Stockfish 190203       :  3441.3   44.5    78.0     149    52      76   18  120   11    81  3424.7
   3 LCZero v20.2-32930     :  3432.2   44.9    74.5     149    50      92   16  117   16    79  3431.8
   4 Komodo 2227.00         :  3400.0   ——    47.0      91    52      60   14   66   11    73  3388.1
   5 Houdini 6.03           :  3394.6   42.5    46.0      91    51      51   12   68   11    75  3389.4
   6 LCZero v20rc2-32194    :  3394.0   63.6    23.0      41    56      99    8   30    3    73  3350.2
   7 KomodoMCTS 2227.00     :  3307.0   64.9    17.5      41    43      58    4   27   10    66  3360.8
   8 Fire 7.1               :  3299.8   66.6    17.5      42    42      67    2   31    9    74  3362.7
   9 Andscacs 095           :  3283.9   67.7    16.5      42    39      59    2   29   11    69  3364.9
  10 Ethereal 11.14         :  3275.8   66.4    16.0      42    38     —-    0   32   10    76  3366.1

White advantage = 56.08 +/- 8.48
Draw rate (equal opponents) = 86.12 % +/- 2.95

WinPooh, сейчас сделаю, в Ordo она как-то отдельно генерируется.

—- добавлено: 27 фев 2019, опубликовано: 27 фев 2019 —-

Код:

   # PLAYER                 :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  OppAvg
   1 Stockfish 181224       :  2412.1   56.7    29.0      42    69      85   16   26    0    62  2265.2
   2 Stockfish 190203       :  2370.1   41.2    78.0     149    52      75   18  120   11    81  2353.6
   3 LCZero v20.2-32930     :  2361.1   40.9    74.5     149    50      92   16  117   16    79  2360.7
   4 Komodo 2227.00         :  2328.8   32.7    47.0      91    52      60   14   66   11    73  2316.9
   5 Houdini 6.03           :  2323.4   33.0    46.0      91    51      51   12   68   11    75  2318.3
   6 LCZero v20rc2-32194    :  2322.9   48.0    23.0      41    56      99    8   30    3    73  2279.0
   7 KomodoMCTS 2227.00     :  2235.8   48.4    17.5      41    43      58    4   27   10    66  2289.6
   8 Fire 7.1               :  2228.6   47.8    17.5      42    42      68    2   31    9    74  2291.5
   9 Andscacs 095           :  2212.7   49.8    16.5      42    39      59    2   29   11    69  2293.7
  10 Ethereal 11.14         :  2204.6   50.2    16.0      42    38     —-    0   32   10    76  2294.9

White advantage = 56.08 +/- 8.70
Draw rate (equal opponents) = 86.12 % +/- 3.00

Правда, не форматируется нормально. Ну, типо просто данные, которые уже можно отформатировать по своему желанию
(В ordo ключ -c):

Код:

"N","NAME",0,1,2,3,4,5,6,7,8,9
0,"     Stockfish 181224",,85.4,90.0,99.0,99.3,99.0,100.0,100.0,100.0,100.0
1,"     Stockfish 190203",14.6,,75.1,96.4,97.7,90.2,100.0,100.0,100.0,100.0
2,"   LCZero v20.2-32930",10.0,24.9,,92.1,94.7,85.2,100.0,100.0,100.0,100.0
3,"       Komodo 2227.00",1.0,3.6,7.9,,60.1,57.4,99.8,99.9,100.0,100.0
4,"         Houdini 6.03",0.7,2.3,5.3,39.9,,50.6,99.6,99.8,100.0,100.0
5,"  LCZero v20rc2-32194",1.0,9.8,14.8,42.6,49.4,,99.2,99.6,99.9,99.9
6,"   KomodoMCTS 2227.00",0.0,0.0,0.0,0.2,0.4,0.8,,58.2,74.4,81.1
7,"             Fire 7.1",0.0,0.0,0.0,0.1,0.2,0.4,41.8,,67.5,75.1
8,"         Andscacs 095",0.0,0.0,0.0,0.0,0.0,0.1,25.6,32.5,,58.9
9,"       Ethereal 11.14",0.0,0.0,0.0,0.0,0.0,0.1,18.9,24.9,41.1,

WinPooh, я включил 3 файла: https://tcec.chessdom.com/json/event.pgn - это то, что идет сейчас, и отсюда Премьер-дивизион и Суперфинал: http://legacy-tcec.chessdom.com/archive.php

В статистике вероятность нулевой гипотезы < 10% вроде одной звездочкой обозначается; < 5% - двумя, а < 1% - тремя. Пять звездочек не бывает
В общем, и 90% вполне значимо

В TCEC проходит рапид 12+3 из 100 партий Stockfish-Lc0 без дебютной книги. Счёт пока 4-0 в пользу Лилы. https://tcec.chessdom.com/live.html

За счет эффекта бабочки все партии разные
Хотя, дебюты достаточно однотипные выходят.
А так, Лила и черными выигрывает, и белыми. В общем, доминирует. Много выигранных позиций не дотягивает до победы. Вот, например, сейчас у Лилы выигранная позиция. Дотянет ли? Посмотрим.

Взять бы эту бабочку за такие эффекты и года на три в Соловки...

Ну вот, Leela зевнула форсированный мат в четыре хода

Просто эксперимент такой, вряд ли тут разговор о справедливости

—- добавлено: 2 мар 2019, опубликовано: 2 мар 2019 —-

В основом эффект бабочки действует на Stockfish, Leela же честно исполняет хо́ды со своей дебютной книги:

Вот партии, где Stockfish белыми начинал 1.e4:

1. e4 e5 2. Nf3 Nc6 3. Bc4 Bc5 4. d3 d6 5. c3 Nf6 6. O-O a6 7. b4 Ba7 8. a4 O-O 9. Nbd2 Ne7 10. Re1 c6
1. e4 e5 2. Nf3 Nc6 3. Bc4 Bc5 4. d3 d6 5. O-O Nf6 6. c3 a6 7. a4 O-O 8. b4 Ba7 9. Nbd2 Ne7 10. Re1 c6
1. e4 e5 2. Nf3 Nc6 3. Bc4 Bc5 4. c3 Nf6 5. d3 d6 6. O-O a6 7. a4 O-O 8. Re1 Ba7 9. Nbd2 Ng4 10. Rf1 Kh8
1. e4 e5 2. Nf3 Nc6 3. Bc4 Bc5 4. c3 Nf6 5. d3 d6 6. O-O a6 7. a4 O-O 8. Re1 Ba7 9. Nbd2 Ng4 10. Rf1 Kh8
1. e4 e5 2. Nf3 Nc6 3. Bc4 Bc5 4. d3 d6 5. Ng5 Nh6 6. c3 O-O 7. O-O Bg4 8. Nf3 Kh8 9. h3 Bh5 10. b4 Bb6

1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. O-O Nd7 7. Nbd2 O-O 8. Nc4 Re8 9. Bd2 b6 10. b3 a5
1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. O-O Nd7 7. Nbd2 O-O 8. Nc4 Re8 9. Bd2 b6 10. b4 Bf8
1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. O-O Nd7 7. Nbd2 O-O 8. Nc4 Re8 9. Bd2 b6 10. a3 Bf8
1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. O-O Nd7 7. Nbd2 O-O 8. Nc4 Re8 9. Bd2 b6 10. Re1 a5

Кстати, очень интересный эндшпиль и вообще вся партия прямо сейчас разыгрывается

—- добавлено: 2 мар 2019 —-

Посмотрим Лила понимает, в чем сила двух слонов против двух коней

Ясно уже что следующий сильнейший движок будет гибридом.

Я бы все-таки не называл это книгой. Лила же перебирает варианты и оценивает их. Никаких ходов и позиций у Лилы не записаны в нейросети.

Если дать Лиле больше времени на раздумье, она может и сменить решение. Жёсткой привязки нет. Я бы сказал так: Лила просто очень хорошо играет в дебюте. Это свойство алгоритма. Также и зевание тактики - тоже свойство алгоритма на данном этапе развития. Поэтому, если, например, дать дебютную книгу Stockfish, то это будет не совсем честно. Честно будет, если эта книга получена самим Stockfish-ем.

"занесены в нейросеть"

Почитайте хоть что нибудь про нейросети, и про MCTS тоже...

Ну... мне с некоторых пор мне нравится называть нейросети нейропамятью. ИМХО, это даёт куда лучшее понимание и избавляет от многих ошибок. Нейросеть обучается на большом наборе данных, и по сути хранит его в закодированном виде с некоторыми потерями. Потери подбираются таким образом, чтобы избежать переобучения, потому как для нейросети запомнить все паттерны — вопрос сложности. Всякий раз, когда на вход подаётся позиция, нейросеть возвращает оценку на основании аналогичных паттернов, которые она видела при обучении.

6 000 000 партий, которые наиграла AlphaZero, дают примерно 600 000 000 позиций. Ну а дальше... допустим 100 000 000 позиций относятся к дебюту, 300 000 000 к миттельшпилю и 200 000 000 к эндшпилю. ИМХО, в дебюте и миттельшпиле это количество позиций достаточно, а в окончании база выглядит несколько неполной, да и незначительное измение позиции может сильно изменить оценку (трагедия одного темпа). Это объясняет, почему сила игры Lc0 в окончаниях, как мне кажется, падает. MCTS нужен лишь для того, чтобы убирать мелкую тактику.

Кстати, если просто написать движок, который будет искать методом ближайших соседей искать позижие позиции, усреднять оценки ходов и использовать их в качестве начальных оценок MCTS, 1G позиций, например, по 30 байт на позицию... 30G данных... Вполне реально. Интересно, такой движок будет удовлетворять условиям TCEC?

Такие книжки есть — Stockfish играет сам с собой (скажем по MCTS), на основе результатов этих партий составляется книга.

Здесь про Лилу, Комодо и развитие движков в целом будут говорить: https://www.youtube.com/watch?v=I0SYfHaQ5Ts

Да чего возмущаться. Напротив, молодцы ребята. Показали в бонусном матче, какие трюки могли использовать в матче Альфазеро против Стокфиша. Отключить книжку, нащупать неудобные дебюты для Стокфиша - и долбить в одну точку. Вариативность игры у того недостаточна, чтобы соскочить с этих неудобных ему линий. Небольшое волшебство - и бой равных превращается в избиение.

Стокфиш попросту играл не в тех условиях, на которые он был рассчитан. Если бы его разрабатывали в условиях запрета на использование внешней, созданной людьми дебютной книжки, то создали бы ему внутреннюю книжку. Провели бы подготовительный матч с Лилой, с нащупыванием неудобных для неё дебютов (ведь для Лилы же провели такой матч со Стокфишем). Дальше, раз Лила пользуется своими наработками из матча, то и Стокфиш тоже пользуется полученными дебютными наработками.

Да, Лила специально обучалась под конкретную версию Стокфиша, чтобы потом разнести его в матче без книги.