Программа для скачивания партий с lichess оптом

Тема в разделе "Игровой Зал", создана пользователем AWer, 5 дек 2017.

  1. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    В ходе своего обучения и игры в интернете периодически приходится скачивать сыгранные партии. Если партий поднакопилось, то уходит много времени на скачивание каждой партии по отдельности.
    Поэтому решил задаться целью автоматизировать этот процесс и написал для этого простенькое приложение. На данный момент интегрировано только с сайтом lichess. Для выбора партий надо ввести свой логин, в таблице выделить галкой интересующие партии. Выбранные партии скачиваются в формате pgn одним файлом, после этого их можно просматривать в chessbase и конвертировать в его родной формат. Программа находится в разработке, буду рад любым отзывам и предложениям.

    Ссылка для скачивания: https://yadi.sk/d/_jXX6rUl3N3gWU

    Программа скомпилирована и проверена под Windows10
    Challenger Spy нравится это.
  2. LeningradVlad Учаcтник

    • Участник
    Рег.:
    06.10.2016
    Сообщения:
    587
    Симпатии:
    428
    Репутация:
    16
    Оффлайн
    Для линукса бы...
  3. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    для linux могу сделать билд, но потребуется установленная jre8
  4. Michael-13 Господин

    • Участник
    • Старожил
    Рег.:
    18.11.2011
    Сообщения:
    3.068
    Симпатии:
    1.098
    Репутация:
    29
    Оффлайн
    AWer, уже многое реализовано.
    1.описано здесь как скачать свои партии: https://lichess.org/qa/617/how-can-i-download-all-my-games-as-a-pgn
    там есть ссылка на это видео: http://i.imgur.com/G6KSEUz.gifv
    2.Так же можно почитать эту тему: https://lichess.org/forum/lichess-feedback/download-all-games
    3.Так же можно просто скачать все партии за месяц: https://database.lichess.org
  5. breakaleg Новичок

    • Новичок
    Рег.:
    03.12.2017
    Сообщения:
    23
    Симпатии:
    9
    Репутация:
    0
    Оффлайн
    На андроиде тыкался, не нашёл как базой скачать свои партии также.
  6. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    спасибо за информацию, буду знать. но мне не нужно было скачивать все свои партии, тем более все партии сыгранные на lichess. я реализовал выбор партий для скачивания. в любом случае, если кого-то устраивает этот функционал, это прекрасно. если кому-то поможет мой велосипед - я буду счастлив.
    вообще программа задумывалась как агрегатор, планировал добавить ещё chess.com и импорт из локальной папки, возможно, импорт из разных профилей.
  7. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Рег.:
    30.12.2009
    Сообщения:
    16.477
    Симпатии:
    8.522
    Репутация:
    530
    Нарушения:
    31
    Оффлайн
    Скачал, ввел логин. Таблицы никакой нет. Что дальше делать?

    [​IMG]
  8. Jadn Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.05.2006
    Сообщения:
    3.626
    Симпатии:
    2.535
    Репутация:
    52
    Оффлайн
    Ничего, на вашем компьютере уже работает майнер. Ну, или крипто-локер. В общем, уже можно расслабиться и получать удовольствие.

    ЗЫ. Если что, это шутка, я не знаю, что там. Просто я не настолько доверяю людям, чтобы запускать на своем компе экзешники от ников возрастом на форуме в пару дней. 76 МБ для программы-грабилки базы тоже несколько смущают.
  9. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Рег.:
    30.12.2009
    Сообщения:
    16.477
    Симпатии:
    8.522
    Репутация:
    530
    Нарушения:
    31
    Оффлайн
    Зачем вы пугаете, я ж могу испугаться.
    ЛюдЯм надо верить!
  10. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    закрыть окошко, теперь свой профиль можно выбирать в выпадающем списке - нажмите на стрелку вниз возле кнопки для добавления аккаунта.
    окно добавления профилей - эта часть интерфейса наименее удачна, радует что её использовать нужно только пару раз.
  11. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Рег.:
    30.12.2009
    Сообщения:
    16.477
    Симпатии:
    8.522
    Репутация:
    530
    Нарушения:
    31
    Оффлайн
    Сделал, и вот такая бяка вылезла:

    [​IMG]
  12. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    могу открыть исходники. 75 метров - это вместе с рантаймом и кучкой либ. на самом деле там один шрифт весит 15МБ (ну не нашёл я лучшего шрифта для отображения фигур).
    доверять или нет - Ваше право.
    —- добавлено: 8 дек 2017, опубликовано: 8 дек 2017 —-
    к сожалению на lichess не удалось найти такой профиль (ни по запросу программы, ни руками на сайте)

    ЗЫ: не успел прикрутить адекватные сообщения об ошибках
  13. Jadn Заслуженный

    • Заслуженный
    • Участник
    • Старожил
    Рег.:
    10.05.2006
    Сообщения:
    3.626
    Симпатии:
    2.535
    Репутация:
    52
    Оффлайн
    Да я, в общем-то, на lichess-е не играю, так что это так, теоретически высказался. Но исходники наверно действительно лучше открыть, не все же такие доверчивые, как Vladruss.
    А зачем программе для скачивания pgn-файла шрифты с фигурами? Или вы свой ChessBase пишете?
  14. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Рег.:
    30.12.2009
    Сообщения:
    16.477
    Симпатии:
    8.522
    Репутация:
    530
    Нарушения:
    31
    Оффлайн
    А вы какой профиль искали?
    Да, я сам ошибся, не тот ник ввел. Когда ввел правильный, все заработало. Но там у вас в программе недоработка: непонятно, кто выиграл. Пишется только "ризайн", а кто "ризайн", непонятно.
  15. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    профиль из картинки в предыдущем посте)
    да, надо будет добавить отображение победителя. если просмотреть партию, там конечно видно будет
    Vladruss нравится это.
  16. sandro_ch Новичок

    • Новичок
    Рег.:
    14.01.2018
    Сообщения:
    9
    Симпатии:
    1
    Репутация:
    0
    Оффлайн
    если не секрет а в чем вообще смысл идеи? все это же можно сделать двумя кликами, сначала просто скачать все игры с lichess в pgn, а потом залить в любую базу например ChessBase или SCID и там просматривать и фильтровать по любым критериям, как-то: дебют, дата, соперник, результат, и т.д. это же обычный сценарий и все так и делают.. как-то у вас все хитро будет работать слишком. зачем вручную выбирать игры (там же их очень много и интересует обычно много игр, а не 5-10), если можно просто скачать все, а потом уже фильтровать там по дебютам и т д? как вы и говорите вручную скачивать долго, но так и отмечать игры для скачивания тоже долго, проще все скачать а там уже фильтры в помощь. я не сомневаюсь что для вас лично это полезно, иначе бы не писали программу, но просто интересно как вы сами будете использовать?
  17. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    приветствую. как я понял, Вы описали немного другой вариант - скачать всё и сразу, для этого, конечно, смысла большого в моём "велосипеде" не будет.
    я скачиваю партии для разбора (самостоятельно или с тренером) раз в 1-2 недели, мне было не удобно всё скачивать, а потом фильтровать локально или даже фильтровать на самом сайте, поэтому я придумал что-то другое.
    это лично мои потребности и писал изначально для себя. мне проще открыть приложение, выбрать из всех партий, условно, последние 10-20-50 партий (с зажатым "шифтом" выбирается пачка, галкой сверху - вся страница), сохранить и добавлять в chessbase.

    есть ещё идея сделать агрегацию партий из разных источников (это я собираюсь это реализовать), как минимум хочу добавить chess.com (пока не знаю ещё как, там не самый удобных АПИ для получения партий), возможно ещё получение партий из pgn файлов в локальной папке. есть ещё "дурная" идея добавить статистику по решению тактики с chesstempo (может и те же самые lichess и chess.com тоже надо), но в этом пока потребности не было.

    если есть другие идеи или пожелания, то можно попробовать добавить.

    у меня пока следующие планы:
    - надо решить проблему с лицензией для компилятора (жду подтверждения),
    - собираюсь партии с chess.com (пока не придумал как это будет выглядеть на GUI, есть некоторые проблемы с интеграцией, но я всё это решу),
    - собирать и агрегировать партии из локальной папки (периодически приходится добавлять партии с телефона в виде pgn, тоже руками делать не очень удобно)
    - настроить компиляцию/сборку под linux (был один запрос, к сожалению быстро сделать не удалось, в компиляторе есть бага и под linux он GUI запускать категорически отказался).
    Challenger Spy нравится это.
  18. sandro_ch Новичок

    • Новичок
    Рег.:
    14.01.2018
    Сообщения:
    9
    Симпатии:
    1
    Репутация:
    0
    Оффлайн
    видимо я пока не настолько продвинутый шахматист; постараюсь разобраться, если моих мозгов хватит то буду использовать
  19. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    буду рад если окажется полезным)
  20. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    05.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    Если кому ещё интересно сие творение, я его немного подшаманил и выложил.
    Собранное приложение лежит тут: https://yadi.sk/d/_jXX6rUl3N3gWU
    Исходники можно посмотреть тут: https://github.com/averkhoglyad/chess-manager

    Что сделано:
    - решил проблему с лицензией на компилятор, если раньше могло требовать пересобрать через 30 дней, то теперь такого быть не должно (из минусов - пропала возможность компилировать с кучей агрессивных оптимизаций, т.к. она платная)
    - поправил обработку ошибок, теперь если не может загрузить партии, то выводится адекватное сообщение (простыня текста с ошибками возможна при неожиданных падениях)
    - добавил в таблице отметку победителя
    - выделение и просмотр партий в таблице теперь управляется клавиатурой (пробел и enter соответственно, выбор строки стрелочками)
    - кучка мелких улучшений дизайна и анимации загрузки
    - приложение переписано с использованием других библиотек (в первую очередь, поменялась платформа и обновил некоторые компоненты), поэтому стало чуть жирнее и пропала совместимость со старыми сохранёнными данными (благо это только добавленные профили и логи, а т.к. армии огорчённых поклонников не предвидится, то это не должно быть проблемой)

    Я всё ещё планирую сделать агрегатор партий из разных источников, поэтому...
    Что всё ещё запланировано сделать:
    - сбор партий с chess.com
    - сбор партий из pgn-файлов в заданной папке
    - сделать сборку без jvm (будет на порядок меньше весить, но требовать установленную jvm, возможно это будет решением проблемы для linux-пользователей)
    - очень хочу найти или запилить небольшой и красивый шрифт с шахматными фигурами для отображения диаграммы в режиме просмотра (но т.к. "чукча не дизайнер", с этим у меня проблема)
  21. Chess762 Начинающий

    • Начинающий
    Рег.:
    10.09.2018
    Сообщения:
    2
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    AWer,
    Добрый день!
    Файла уже нет по указанной ссылке, можно пожалуйста перезалить.
  22. Локомотив Старожил

    • Участник
    • Старожил
    Рег.:
    30.03.2012
    Сообщения:
    4.948
    Симпатии:
    3.696
    Репутация:
    120
    Оффлайн
    Я думаю, для скачивания партий с личесс можно использовать программу-граббер. Я попробовал это сделать с помощью Internet Download Manager. Нужно создать в настройках программы новый фильтр для формата pgn, это несложно.

    [​IMG]

    Как видите на скриншоте, я создал фильтр с названием "базы". Ставим фильтр и запускаем граббер, он будет все найденные файлы в формате pgn показывать вверху.

    [​IMG]

    На этой странице pgn файл один. Ставим галочку и скачиваем его в выбранную папку. Думаю, что не будет проблем скачать с помощью граббера сразу несколько pgn файлов.
  23. DraggonZ Учаcтник

    • Участник
    Рег.:
    12.07.2008
    Сообщения:
    235
    Симпатии:
    18
    Репутация:
    0
    Оффлайн
    lichess_export.png
    На личесс появилась возможность скачать все партии определенного игрока. Грабер не нужен.
  24. Chess762 Начинающий

    • Начинающий
    Рег.:
    10.09.2018
    Сообщения:
    2
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Спасибо за рассказ об интересной возможности, но если партий несколько тысяч, то это очень неудобно отмечать все партии, надо чтобы все партии скачивались одним файлом pgn. Можно ли программу написанную для сайти lichess, использовать для другого сайта?
  25. serg94 Начинающий

    • Начинающий
    Рег.:
    20.08.2020
    Сообщения:
    1
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Кто подскажет, как сейчас скачать?
    —- добавлено: 21 авг 2020, опубликовано: 20 авг 2020 —-
    Добрый вечер! Осталась у Вас ещё программа? Напишите пожалуйста мне на почту [email protected]

  26. bukashka_2009 Начинающий

    • Начинающий
    Рег.:
    07.06.2020
    Сообщения:
    2
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Я не знаю как скачать, но мне скачивали нужные партии с личесс. Попробую, если кому нужно чьи-нибудь партии, попросить скачать. Которая тут была программа, не все партии сразу скачивает, а по 100 штук через Shift и их надо в одну базу собирать, а можно скачать все сразу, например, несколько десятков тысяч партий Andrew Tang (Пингвин), удалить через ChessBase, если что не нужно (960, crazyhouse, three-check и др.), перевести из pgn в формат cbh и в ChessBase для данного игрока открыть вкладку типа Готовиться за белых или черных и дебюты отсортировать. А если игрок еще наиграет партии, то как-то новые партии еще добавляют и другой программой открывают и к главной базе игрока присоединяют.
  27. Camon14 Хранитель традиций

    • Заслуженный
    • Ветеран
    • Заблокирован
    • Старожил
    Рег.:
    28.05.2012
    Сообщения:
    18.567
    Симпатии:
    10.939
    Репутация:
    687
    Нарушения:
    31
    Оффлайн
    Не определенного, а только свои партии можно скачать.
  28. bukashka_2009 Начинающий

    • Начинающий
    Рег.:
    07.06.2020
    Сообщения:
    2
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Можно и определенного игрока. Мне показали как скачать: можно и менеджером закачек, и браузером. Я только-что скачал с личесс партии Алирезы Фирузджи, примерно 4600 партий.
  29. txar Начинающий

    • Начинающий
    Рег.:
    25.11.2020
    Сообщения:
    5
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    было у меня подозрение, что я слишком медлителен и решил конвертнуть pgn -> csv,
    формат простой, сбацал прогу, так и оказалось, 70/30 после 40 ходов, ссылка https://yadi.sk/d/aOyreQa1bQR3dw

Поделиться этой страницей