Программа для скачивания партий с lichess оптом

Тема в разделе "Игровой Зал", создана пользователем AWer, 5 дек 2017.

  1. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    В ходе своего обучения и игры в интернете периодически приходится скачивать сыгранные партии. Если партий поднакопилось, то уходит много времени на скачивание каждой партии по отдельности.
    Поэтому решил задаться целью автоматизировать этот процесс и написал для этого простенькое приложение. На данный момент интегрировано только с сайтом lichess. Для выбора партий надо ввести свой логин, в таблице выделить галкой интересующие партии. Выбранные партии скачиваются в формате pgn одним файлом, после этого их можно просматривать в chessbase и конвертировать в его родной формат. Программа находится в разработке, буду рад любым отзывам и предложениям.

    Ссылка для скачивания: https://yadi.sk/d/_jXX6rUl3N3gWU

    Программа скомпилирована и проверена под Windows10
     
    Последнее редактирование: 5 дек 2017
    Challenger Spy нравится это.
  2. LeningradVlad
    Оффлайн

    LeningradVlad Учаcтник

    Репутация:
    16
    Для линукса бы...
     
  3. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    для linux могу сделать билд, но потребуется установленная jre8
     
  4. Michael-13
    Оффлайн

    Michael-13 Господин

    Репутация:
    29
    AWer, уже многое реализовано.
    1.описано здесь как скачать свои партии: https://lichess.org/qa/617/how-can-i-download-all-my-games-as-a-pgn
    там есть ссылка на это видео: http://i.imgur.com/G6KSEUz.gifv
    2.Так же можно почитать эту тему: https://lichess.org/forum/lichess-feedback/download-all-games
    3.Так же можно просто скачать все партии за месяц: https://database.lichess.org
     
  5. breakaleg
    Оффлайн

    breakaleg Новичок

    Репутация:
    0
    На андроиде тыкался, не нашёл как базой скачать свои партии также.
     
  6. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    спасибо за информацию, буду знать. но мне не нужно было скачивать все свои партии, тем более все партии сыгранные на lichess. я реализовал выбор партий для скачивания. в любом случае, если кого-то устраивает этот функционал, это прекрасно. если кому-то поможет мой велосипед - я буду счастлив.
    вообще программа задумывалась как агрегатор, планировал добавить ещё chess.com и импорт из локальной папки, возможно, импорт из разных профилей.
     
  7. Vladruss
    Оффлайн

    Vladruss НедоКМС, победитель второразрядников. баннер

    Репутация:
    530
    Скачал, ввел логин. Таблицы никакой нет. Что дальше делать?

    [​IMG]
     
  8. Jadn
    Оффлайн

    Jadn баннер

    Репутация:
    52
    Ничего, на вашем компьютере уже работает майнер. Ну, или крипто-локер. В общем, уже можно расслабиться и получать удовольствие.

    ЗЫ. Если что, это шутка, я не знаю, что там. Просто я не настолько доверяю людям, чтобы запускать на своем компе экзешники от ников возрастом на форуме в пару дней. 76 МБ для программы-грабилки базы тоже несколько смущают.
     
  9. Vladruss
    Оффлайн

    Vladruss НедоКМС, победитель второразрядников. баннер

    Репутация:
    530
    Зачем вы пугаете, я ж могу испугаться.
    ЛюдЯм надо верить!
     
  10. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    закрыть окошко, теперь свой профиль можно выбирать в выпадающем списке - нажмите на стрелку вниз возле кнопки для добавления аккаунта.
    окно добавления профилей - эта часть интерфейса наименее удачна, радует что её использовать нужно только пару раз.
     
  11. Vladruss
    Оффлайн

    Vladruss НедоКМС, победитель второразрядников. баннер

    Репутация:
    530
    Сделал, и вот такая бяка вылезла:

    [​IMG]
     
  12. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    могу открыть исходники. 75 метров - это вместе с рантаймом и кучкой либ. на самом деле там один шрифт весит 15МБ (ну не нашёл я лучшего шрифта для отображения фигур).
    доверять или нет - Ваше право.
    —- добавлено: 8 дек 2017, опубликовано: 8 дек 2017 —-
    к сожалению на lichess не удалось найти такой профиль (ни по запросу программы, ни руками на сайте)

    ЗЫ: не успел прикрутить адекватные сообщения об ошибках
     
  13. Jadn
    Оффлайн

    Jadn баннер

    Репутация:
    52
    Да я, в общем-то, на lichess-е не играю, так что это так, теоретически высказался. Но исходники наверно действительно лучше открыть, не все же такие доверчивые, как Vladruss.
    А зачем программе для скачивания pgn-файла шрифты с фигурами? Или вы свой ChessBase пишете?
     
  14. Vladruss
    Оффлайн

    Vladruss НедоКМС, победитель второразрядников. баннер

    Репутация:
    530
    А вы какой профиль искали?
    Да, я сам ошибся, не тот ник ввел. Когда ввел правильный, все заработало. Но там у вас в программе недоработка: непонятно, кто выиграл. Пишется только "ризайн", а кто "ризайн", непонятно.
     
  15. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    профиль из картинки в предыдущем посте)
    да, надо будет добавить отображение победителя. если просмотреть партию, там конечно видно будет
     
    Vladruss нравится это.
  16. sandro_ch
    Оффлайн

    sandro_ch Новичок

    Репутация:
    0
    если не секрет а в чем вообще смысл идеи? все это же можно сделать двумя кликами, сначала просто скачать все игры с lichess в pgn, а потом залить в любую базу например ChessBase или SCID и там просматривать и фильтровать по любым критериям, как-то: дебют, дата, соперник, результат, и т.д. это же обычный сценарий и все так и делают.. как-то у вас все хитро будет работать слишком. зачем вручную выбирать игры (там же их очень много и интересует обычно много игр, а не 5-10), если можно просто скачать все, а потом уже фильтровать там по дебютам и т д? как вы и говорите вручную скачивать долго, но так и отмечать игры для скачивания тоже долго, проще все скачать а там уже фильтры в помощь. я не сомневаюсь что для вас лично это полезно, иначе бы не писали программу, но просто интересно как вы сами будете использовать?
     
  17. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    приветствую. как я понял, Вы описали немного другой вариант - скачать всё и сразу, для этого, конечно, смысла большого в моём "велосипеде" не будет.
    я скачиваю партии для разбора (самостоятельно или с тренером) раз в 1-2 недели, мне было не удобно всё скачивать, а потом фильтровать локально или даже фильтровать на самом сайте, поэтому я придумал что-то другое.
    это лично мои потребности и писал изначально для себя. мне проще открыть приложение, выбрать из всех партий, условно, последние 10-20-50 партий (с зажатым "шифтом" выбирается пачка, галкой сверху - вся страница), сохранить и добавлять в chessbase.

    есть ещё идея сделать агрегацию партий из разных источников (это я собираюсь это реализовать), как минимум хочу добавить chess.com (пока не знаю ещё как, там не самый удобных АПИ для получения партий), возможно ещё получение партий из pgn файлов в локальной папке. есть ещё "дурная" идея добавить статистику по решению тактики с chesstempo (может и те же самые lichess и chess.com тоже надо), но в этом пока потребности не было.

    если есть другие идеи или пожелания, то можно попробовать добавить.

    у меня пока следующие планы:
    - надо решить проблему с лицензией для компилятора (жду подтверждения),
    - собираюсь партии с chess.com (пока не придумал как это будет выглядеть на GUI, есть некоторые проблемы с интеграцией, но я всё это решу),
    - собирать и агрегировать партии из локальной папки (периодически приходится добавлять партии с телефона в виде pgn, тоже руками делать не очень удобно)
    - настроить компиляцию/сборку под linux (был один запрос, к сожалению быстро сделать не удалось, в компиляторе есть бага и под linux он GUI запускать категорически отказался).
     
    Challenger Spy нравится это.
  18. sandro_ch
    Оффлайн

    sandro_ch Новичок

    Репутация:
    0
    видимо я пока не настолько продвинутый шахматист; постараюсь разобраться, если моих мозгов хватит то буду использовать
     
  19. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    буду рад если окажется полезным)
     
  20. AWer
    Оффлайн

    AWer Новичок

    Репутация:
    5
    Если кому ещё интересно сие творение, я его немного подшаманил и выложил.
    Собранное приложение лежит тут: https://yadi.sk/d/_jXX6rUl3N3gWU
    Исходники можно посмотреть тут: https://github.com/averkhoglyad/chess-manager

    Что сделано:
    - решил проблему с лицензией на компилятор, если раньше могло требовать пересобрать через 30 дней, то теперь такого быть не должно (из минусов - пропала возможность компилировать с кучей агрессивных оптимизаций, т.к. она платная)
    - поправил обработку ошибок, теперь если не может загрузить партии, то выводится адекватное сообщение (простыня текста с ошибками возможна при неожиданных падениях)
    - добавил в таблице отметку победителя
    - выделение и просмотр партий в таблице теперь управляется клавиатурой (пробел и enter соответственно, выбор строки стрелочками)
    - кучка мелких улучшений дизайна и анимации загрузки
    - приложение переписано с использованием других библиотек (в первую очередь, поменялась платформа и обновил некоторые компоненты), поэтому стало чуть жирнее и пропала совместимость со старыми сохранёнными данными (благо это только добавленные профили и логи, а т.к. армии огорчённых поклонников не предвидится, то это не должно быть проблемой)

    Я всё ещё планирую сделать агрегатор партий из разных источников, поэтому...
    Что всё ещё запланировано сделать:
    - сбор партий с chess.com
    - сбор партий из pgn-файлов в заданной папке
    - сделать сборку без jvm (будет на порядок меньше весить, но требовать установленную jvm, возможно это будет решением проблемы для linux-пользователей)
    - очень хочу найти или запилить небольшой и красивый шрифт с шахматными фигурами для отображения диаграммы в режиме просмотра (но т.к. "чукча не дизайнер", с этим у меня проблема)
     
  21. Chess762
    Оффлайн

    Chess762 Начинающий

    Репутация:
    0
    AWer,
    Добрый день!
    Файла уже нет по указанной ссылке, можно пожалуйста перезалить.
     
    Последнее редактирование модератором: 10 сен 2018
  22. Локомотив
    Оффлайн

    Локомотив Старожил

    Репутация:
    120
    Я думаю, для скачивания партий с личесс можно использовать программу-граббер. Я попробовал это сделать с помощью Internet Download Manager. Нужно создать в настройках программы новый фильтр для формата pgn, это несложно.

    [​IMG]

    Как видите на скриншоте, я создал фильтр с названием "базы". Ставим фильтр и запускаем граббер, он будет все найденные файлы в формате pgn показывать вверху.

    [​IMG]

    На этой странице pgn файл один. Ставим галочку и скачиваем его в выбранную папку. Думаю, что не будет проблем скачать с помощью граббера сразу несколько pgn файлов.
     
  23. DraggonZ
    Оффлайн

    DraggonZ Учаcтник

    Репутация:
    0
    lichess_export.png
    На личесс появилась возможность скачать все партии определенного игрока. Грабер не нужен.
     
    Последнее редактирование: 18 сен 2018
  24. Chess762
    Оффлайн

    Chess762 Начинающий

    Репутация:
    0
    Спасибо за рассказ об интересной возможности, но если партий несколько тысяч, то это очень неудобно отмечать все партии, надо чтобы все партии скачивались одним файлом pgn. Можно ли программу написанную для сайти lichess, использовать для другого сайта?
     
  25. serg94
    Оффлайн

    serg94 Начинающий

    Репутация:
    0
    Кто подскажет, как сейчас скачать?
    —- добавлено: 21 авг 2020, опубликовано: 20 авг 2020 —-
    Добрый вечер! Осталась у Вас ещё программа? Напишите пожалуйста мне на почту [email protected]

     
  26. bukashka_2009
    Оффлайн

    bukashka_2009 Начинающий

    Репутация:
    0
    Я не знаю как скачать, но мне скачивали нужные партии с личесс. Попробую, если кому нужно чьи-нибудь партии, попросить скачать. Которая тут была программа, не все партии сразу скачивает, а по 100 штук через Shift и их надо в одну базу собирать, а можно скачать все сразу, например, несколько десятков тысяч партий Andrew Tang (Пингвин), удалить через ChessBase, если что не нужно (960, crazyhouse, three-check и др.), перевести из pgn в формат cbh и в ChessBase для данного игрока открыть вкладку типа Готовиться за белых или черных и дебюты отсортировать. А если игрок еще наиграет партии, то как-то новые партии еще добавляют и другой программой открывают и к главной базе игрока присоединяют.
     
  27. Camon14
    Оффлайн

    Camon14 Хранитель традиций баннер

    Репутация:
    687
    Не определенного, а только свои партии можно скачать.
     
  28. bukashka_2009
    Оффлайн

    bukashka_2009 Начинающий

    Репутация:
    0
    Можно и определенного игрока. Мне показали как скачать: можно и менеджером закачек, и браузером. Я только-что скачал с личесс партии Алирезы Фирузджи, примерно 4600 партий.
     
  29. txar
    Оффлайн

    txar Начинающий

    Репутация:
    0
    было у меня подозрение, что я слишком медлителен и решил конвертнуть pgn -> csv,
    формат простой, сбацал прогу, так и оказалось, 70/30 после 40 ходов, ссылка https://yadi.sk/d/aOyreQa1bQR3dw