Программа для скачивания партий с lichess оптом

Тема в разделе "Игровой Зал", создана пользователем AWer, 5 дек 2017.

  1. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    В ходе своего обучения и игры в интернете периодически приходится скачивать сыгранные партии. Если партий поднакопилось, то уходит много времени на скачивание каждой партии по отдельности.
    Поэтому решил задаться целью автоматизировать этот процесс и написал для этого простенькое приложение. На данный момент интегрировано только с сайтом lichess. Для выбора партий надо ввести свой логин, в таблице выделить галкой интересующие партии. Выбранные партии скачиваются в формате pgn одним файлом, после этого их можно просматривать в chessbase и конвертировать в его родной формат. Программа находится в разработке, буду рад любым отзывам и предложениям.

    Ссылка для скачивания: https://yadi.sk/d/_jXX6rUl3N3gWU

    Программа скомпилирована и проверена под Windows10
    Challenger Spy нравится это.
  2. LeningradVlad Учаcтник

    • Участник
    Рег.:
    06.10.2016
    Сообщения:
    587
    Симпатии:
    419
    Репутация:
    16
    Оффлайн
    Для линукса бы...
  3. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    для linux могу сделать билд, но потребуется установленная jre8
  4. Michael-13 Господин

    • Участник
    Рег.:
    18.11.2011
    Сообщения:
    2.565
    Симпатии:
    771
    Репутация:
    18
    Оффлайн
    AWer, уже многое реализовано.
    1.описано здесь как скачать свои партии: https://lichess.org/qa/617/how-can-i-download-all-my-games-as-a-pgn
    там есть ссылка на это видео: http://i.imgur.com/G6KSEUz.gifv
    2.Так же можно почитать эту тему: https://lichess.org/forum/lichess-feedback/download-all-games
    3.Так же можно просто скачать все партии за месяц: https://database.lichess.org
  5. breakaleg Новичок

    • Новичок
    Рег.:
    02.12.2017
    Сообщения:
    23
    Симпатии:
    9
    Репутация:
    0
    Оффлайн
    На андроиде тыкался, не нашёл как базой скачать свои партии также.
  6. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    спасибо за информацию, буду знать. но мне не нужно было скачивать все свои партии, тем более все партии сыгранные на lichess. я реализовал выбор партий для скачивания. в любом случае, если кого-то устраивает этот функционал, это прекрасно. если кому-то поможет мой велосипед - я буду счастлив.
    вообще программа задумывалась как агрегатор, планировал добавить ещё chess.com и импорт из локальной папки, возможно, импорт из разных профилей.
  7. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    Рег.:
    30.12.2009
    Сообщения:
    10.699
    Симпатии:
    3.561
    Репутация:
    350
    Оффлайн
    Скачал, ввел логин. Таблицы никакой нет. Что дальше делать?

    [​IMG]
  8. Jadn Заслуженный

    • Заслуженный
    • Участник
    Рег.:
    10.05.2006
    Сообщения:
    2.979
    Симпатии:
    743
    Репутация:
    28
    Оффлайн
    Ничего, на вашем компьютере уже работает майнер. Ну, или крипто-локер. В общем, уже можно расслабиться и получать удовольствие.

    ЗЫ. Если что, это шутка, я не знаю, что там. Просто я не настолько доверяю людям, чтобы запускать на своем компе экзешники от ников возрастом на форуме в пару дней. 76 МБ для программы-грабилки базы тоже несколько смущают.
  9. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    Рег.:
    30.12.2009
    Сообщения:
    10.699
    Симпатии:
    3.561
    Репутация:
    350
    Оффлайн
    Зачем вы пугаете, я ж могу испугаться.
    ЛюдЯм надо верить!
  10. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    закрыть окошко, теперь свой профиль можно выбирать в выпадающем списке - нажмите на стрелку вниз возле кнопки для добавления аккаунта.
    окно добавления профилей - эта часть интерфейса наименее удачна, радует что её использовать нужно только пару раз.
  11. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    Рег.:
    30.12.2009
    Сообщения:
    10.699
    Симпатии:
    3.561
    Репутация:
    350
    Оффлайн
    Сделал, и вот такая бяка вылезла:

    [​IMG]
  12. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    могу открыть исходники. 75 метров - это вместе с рантаймом и кучкой либ. на самом деле там один шрифт весит 15МБ (ну не нашёл я лучшего шрифта для отображения фигур).
    доверять или нет - Ваше право.
    --- добавлено: 7 дек 2017, опубликовано: 7 дек 2017 ---
    к сожалению на lichess не удалось найти такой профиль (ни по запросу программы, ни руками на сайте)

    ЗЫ: не успел прикрутить адекватные сообщения об ошибках
  13. Jadn Заслуженный

    • Заслуженный
    • Участник
    Рег.:
    10.05.2006
    Сообщения:
    2.979
    Симпатии:
    743
    Репутация:
    28
    Оффлайн
    Да я, в общем-то, на lichess-е не играю, так что это так, теоретически высказался. Но исходники наверно действительно лучше открыть, не все же такие доверчивые, как Vladruss.
    А зачем программе для скачивания pgn-файла шрифты с фигурами? Или вы свой ChessBase пишете?
  14. Vladruss НедоКМС, победитель второразрядников.

    • Заслуженный
    • Ветеран
    Рег.:
    30.12.2009
    Сообщения:
    10.699
    Симпатии:
    3.561
    Репутация:
    350
    Оффлайн
    А вы какой профиль искали?
    Да, я сам ошибся, не тот ник ввел. Когда ввел правильный, все заработало. Но там у вас в программе недоработка: непонятно, кто выиграл. Пишется только "ризайн", а кто "ризайн", непонятно.
  15. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    профиль из картинки в предыдущем посте)
    да, надо будет добавить отображение победителя. если просмотреть партию, там конечно видно будет
    Vladruss нравится это.
  16. sandro_ch Новичок

    • Новичок
    Рег.:
    14.01.2018
    Сообщения:
    9
    Симпатии:
    1
    Репутация:
    0
    Оффлайн
    если не секрет а в чем вообще смысл идеи? все это же можно сделать двумя кликами, сначала просто скачать все игры с lichess в pgn, а потом залить в любую базу например ChessBase или SCID и там просматривать и фильтровать по любым критериям, как-то: дебют, дата, соперник, результат, и т.д. это же обычный сценарий и все так и делают.. как-то у вас все хитро будет работать слишком. зачем вручную выбирать игры (там же их очень много и интересует обычно много игр, а не 5-10), если можно просто скачать все, а потом уже фильтровать там по дебютам и т д? как вы и говорите вручную скачивать долго, но так и отмечать игры для скачивания тоже долго, проще все скачать а там уже фильтры в помощь. я не сомневаюсь что для вас лично это полезно, иначе бы не писали программу, но просто интересно как вы сами будете использовать?
  17. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    приветствую. как я понял, Вы описали немного другой вариант - скачать всё и сразу, для этого, конечно, смысла большого в моём "велосипеде" не будет.
    я скачиваю партии для разбора (самостоятельно или с тренером) раз в 1-2 недели, мне было не удобно всё скачивать, а потом фильтровать локально или даже фильтровать на самом сайте, поэтому я придумал что-то другое.
    это лично мои потребности и писал изначально для себя. мне проще открыть приложение, выбрать из всех партий, условно, последние 10-20-50 партий (с зажатым "шифтом" выбирается пачка, галкой сверху - вся страница), сохранить и добавлять в chessbase.

    есть ещё идея сделать агрегацию партий из разных источников (это я собираюсь это реализовать), как минимум хочу добавить chess.com (пока не знаю ещё как, там не самый удобных АПИ для получения партий), возможно ещё получение партий из pgn файлов в локальной папке. есть ещё "дурная" идея добавить статистику по решению тактики с chesstempo (может и те же самые lichess и chess.com тоже надо), но в этом пока потребности не было.

    если есть другие идеи или пожелания, то можно попробовать добавить.

    у меня пока следующие планы:
    - надо решить проблему с лицензией для компилятора (жду подтверждения),
    - собираюсь партии с chess.com (пока не придумал как это будет выглядеть на GUI, есть некоторые проблемы с интеграцией, но я всё это решу),
    - собирать и агрегировать партии из локальной папки (периодически приходится добавлять партии с телефона в виде pgn, тоже руками делать не очень удобно)
    - настроить компиляцию/сборку под linux (был один запрос, к сожалению быстро сделать не удалось, в компиляторе есть бага и под linux он GUI запускать категорически отказался).
    Последние данные очков репутации:
    Challenger Spy: 2 18 янв 2018
    Challenger Spy нравится это.
  18. sandro_ch Новичок

    • Новичок
    Рег.:
    14.01.2018
    Сообщения:
    9
    Симпатии:
    1
    Репутация:
    0
    Оффлайн
    видимо я пока не настолько продвинутый шахматист; постараюсь разобраться, если моих мозгов хватит то буду использовать
  19. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    буду рад если окажется полезным)
  20. TopicStarter Overlay

    AWer Новичок

    • Новичок
    Рег.:
    04.12.2017
    Сообщения:
    9
    Симпатии:
    3
    Репутация:
    5
    Оффлайн
    Если кому ещё интересно сие творение, я его немного подшаманил и выложил.
    Собранное приложение лежит тут: https://yadi.sk/d/_jXX6rUl3N3gWU
    Исходники можно посмотреть тут: https://github.com/averkhoglyad/chess-manager

    Что сделано:
    - решил проблему с лицензией на компилятор, если раньше могло требовать пересобрать через 30 дней, то теперь такого быть не должно (из минусов - пропала возможность компилировать с кучей агрессивных оптимизаций, т.к. она платная)
    - поправил обработку ошибок, теперь если не может загрузить партии, то выводится адекватное сообщение (простыня текста с ошибками возможна при неожиданных падениях)
    - добавил в таблице отметку победителя
    - выделение и просмотр партий в таблице теперь управляется клавиатурой (пробел и enter соответственно, выбор строки стрелочками)
    - кучка мелких улучшений дизайна и анимации загрузки
    - приложение переписано с использованием других библиотек (в первую очередь, поменялась платформа и обновил некоторые компоненты), поэтому стало чуть жирнее и пропала совместимость со старыми сохранёнными данными (благо это только добавленные профили и логи, а т.к. армии огорчённых поклонников не предвидится, то это не должно быть проблемой)

    Я всё ещё планирую сделать агрегатор партий из разных источников, поэтому...
    Что всё ещё запланировано сделать:
    - сбор партий с chess.com
    - сбор партий из pgn-файлов в заданной папке
    - сделать сборку без jvm (будет на порядок меньше весить, но требовать установленную jvm, возможно это будет решением проблемы для linux-пользователей)
    - очень хочу найти или запилить небольшой и красивый шрифт с шахматными фигурами для отображения диаграммы в режиме просмотра (но т.к. "чукча не дизайнер", с этим у меня проблема)
  21. Chess762 Начинающий

    • Начинающий
    Рег.:
    10.09.2018
    Сообщения:
    2
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    AWer,
    Добрый день!
    Файла уже нет по указанной ссылке, можно пожалуйста перезалить.
  22. Локомотив Учаcтник

    • Участник
    Рег.:
    30.03.2012
    Сообщения:
    2.801
    Симпатии:
    1.584
    Репутация:
    48
    Оффлайн
    Я думаю, для скачивания партий с личесс можно использовать программу-граббер. Я попробовал это сделать с помощью Internet Download Manager. Нужно создать в настройках программы новый фильтр для формата pgn, это несложно.

    [​IMG]

    Как видите на скриншоте, я создал фильтр с названием "базы". Ставим фильтр и запускаем граббер, он будет все найденные файлы в формате pgn показывать вверху.

    [​IMG]

    На этой странице pgn файл один. Ставим галочку и скачиваем его в выбранную папку. Думаю, что не будет проблем скачать с помощью граббера сразу несколько pgn файлов.
  23. DraggonZ Учаcтник

    • Участник
    Рег.:
    12.07.2008
    Сообщения:
    233
    Симпатии:
    17
    Репутация:
    0
    Оффлайн
    lichess_export.png
    На личесс появилась возможность скачать все партии определенного игрока. Грабер не нужен.
  24. Chess762 Начинающий

    • Начинающий
    Рег.:
    10.09.2018
    Сообщения:
    2
    Симпатии:
    0
    Репутация:
    0
    Оффлайн
    Спасибо за рассказ об интересной возможности, но если партий несколько тысяч, то это очень неудобно отмечать все партии, надо чтобы все партии скачивались одним файлом pgn. Можно ли программу написанную для сайти lichess, использовать для другого сайта?

Поделиться этой страницей