войти зарегистрироваться

Linux для всех whois

индекс
181,26

FlexGet или Бекапим инетернет автоматически

image

Доброго дня, Хабр!
Довольно давно хотел как то автоматизировать закачки с трекеров любимых сериалов. И вот наконец неделю назад чисто случайно наткнулся на довольно интересную софтинку FlexGet.


FlexGet — это многофункциональный инструмент для автоматичиской закачки торрент-файлов, продкастов, фильмов сериалов и т.д. FlexGet способна обрабатывать различные источники, такие как RSS-каналы, HTML-страниц и даже CSV-файлы. Более того она может сортировать по качеству видео, звука, рейтингу IMDB и даже умеет автоматом качать субтитры. И является плагином для Transmission и Deluge.
Но работает с rTorrent и привычным всем uTorrent — для этого нужно элементарно подсунуть им торрент файлы.
Она оказалась ещё и кросплатформенная Win/Linux/BSD/Mac, так как написана на питоне. На официальной страничке есть подробное пошаговое Руководство к установке на всех платформах.

Мне нужно было что было натравить её на рсс-ки и качать определённые фильмы, сериалы, чтобы потом комфортно смотреть через медиацентр. В распоряжении уже была настроенная торрент качалка на debiane с установленным rTorrnet. Дело за малым — натравить FlexGet на нужную рсс-ку.

Вот самый простой кусочек конфига:

feeds:
lostfilm:
headers:
cookie: "uid=xxxxxx; pass=xxxxxxxxxxxx"
rss: lostfilm.tv/rssdd.xml
regexp:
accept:
- звёздные войны
- За Гранью
- Американская семейка
- Доктор Хаус
download: /media/torrents/session/


Заходит на RSS, ищет упоминание о нужных сериалах и вытаскивает торрент файлы и складывает в папочку. Там их подбирает рторрент и начинает закачку.

В конфиге рторрента нужно было добавить строку, чтобы он проверял наличие новых торрент фалов в папке:
schedule = watch_directory,5,5,load_start=/media/torrents/session/*.torrent

Теперь осталось добавить задание в крон. Чтобы каждые пару минут запускался FlexGet.

ИТОГО: Придя вечером домой мне достаточно будет просто включить медиацентр и смотреть новые фильмы.

А вот если заставить её работать с Deluge — то она может раскладывать по папочкам скачанные фильмы. «Вася пупкин\Сезон1\720р\Серия1»
Вот пример.

Всем спасибо за внимание.
+50
7 февраля 2010, 16:25
Alukar

комментарии (62)

  • НЛО прилетело и опубликовало эту надпись здесь.
    • это только пример, так же можно тянуть почти с любого трекера )
      • НЛО прилетело и опубликовало эту надпись здесь.
        • Хаус это наше все!
          • НЛО прилетело и опубликовало эту надпись здесь.
          • Хаус уже не торт
      • Сделайте мануал под windows server! Я вам буду очень признателен, если я тоже буду приходить домой и включать любимое кино без гемороя :)
  • Из руководства по установке с офф.сайта:
    > To change default editor for crontab, you can use command: 
    > export EDITOR=nano


    А вот выходить из «vi» они так и не научились)))))))
    • vi жесток, я первые пару раз вообще reset'ом из него выходил. Освоился только по книжкам, зато теперь vim мой любимый консольный редактор.
      • Такая же фигня, в первый раз я тоже испугался))) теперь только в нем работаю :)
      • А что за книжки? Я только в nano конфиги ковыряю обычно.Немогу овладеть дао vim.
      • Насколько помню, он сам дает подсказку, как из него выйти
        • значит плохо даёт.
          • Ну, у меня сразу при старте, например
            • Это если его пустым запускать. А если файл открыть, то там такого не будет. А если файл изменить то по :q он не выйдет.
              • А Вы, простите, его первый запуск сразу с именем файла в качестве параметра производили?)
                Да и по Ctrl+C он дает эту же подсказку, проверьте. А если изменить и заюзать :q, он сам предложит добавить недостающие знаки препинания, для пущей повелительности наклонения =)

                Хотя, чего греха таить, я тоже люблю vim, но и я первый запуск (тогда еще vi) завершал по Ctrl+Z, а потом параллельно читал ман=)
                • если он редактор по умолчанию — при вызове crontab -e Вы попадаете в vim с уже открытым файлом, соответственно шансов увидеть эту подсказку нет. И таких ситуаций много.
                  • Спорить не буду, вижу перед собой человека опытного. Просто борюсь за справедливость, говоря, что и vi под силу новичку, и что он в меру удобен и дружественен. Но новичков не наблюдается, потому спор бесполезен и подобен игре в одни ворота)
        • Спасибо товарищу с минусометом, регулярно минусующему все мои каменты. Без Вас я бы, пожалуй зазнался и возомнил)
        • vim от vi как раз и отличается наличием подсказок, ты отвечаешь на каммент о vi
          • Извините, но Вы неправы.
            пруф
            Подсказки и в vi есть и были
            • можно цитату про подсказки в vi?
              одно из основных отличий vim то vi это Редактирование командной строкой и подсказок там нет
  • И вот наконец нЕделю… Поправьте. :-)
  • Спасибище вам.Теперь следить будет еще проще.
    Теперь не надо будет качать торрент на машине, и кидать на сервер, а сам сервер будет выкачивать.
    Big thx,good day и желаю много положительной кармы.
  • ага, давайте забэкапим инет ;)
  • Сайт с софтиной словил Хабраэфект )
    • Не удивительно, там на главной написано «Site may be slow at times, hosted on DSL :(»
  • А! Ну наконец то рсс в трансмишне! А то прям намучился :(
    • В qTorrent загляните.
  • а кторрент встроено
    • не то что там не со всеми фидами корректно работает)
    • strm
    • strm
    • 7 февраля 2010, 20:07
    • #
      • –1
    а у меня rssdler'ом подкидываются торрент файлы rTorrent'у, с помощью скрипта скачанные сериалы раскидываются по папкам в виде ...\Chuck\Season 3\Chuck.S03E06.HDTV.XviD-LOL.avi и в итоге схавываются XBMC, который тянет описание и субтитры
    • А подробнее можно что за скрипт?)
  • Почему-то всегда считал, что такой функционал уже есть почти в любом торрент-клиенте.
    • А разве функционал в торрент клиенты могут обрабатывать хтмл странички ?? Либо закрытые фиды ??
    • Интересно, какой Вы используете, что в нем встроенный RSS-ридер?

      ТС, за статью спасибо. Но я вот предпочитаю держать такие вещи под контролем — качать фильмы после того, как к торренту появится несколько положительных отзывов и так далее. Кто его знает, что накачает FlexGet в мое отсутствие с рсс-ов под видом House M.D.
      • он ведёт свою базу ,2 одинаковых точно не скачает. А вот на закрытых ресурсах качает исключительно то что указанно в конфиге. За неделю работы ничего стороннего не скачал.
  • Круто, если бы еще говорил — что, когда, где скачал ) К примеру, я вообще не знаю что новая серия Хауса вышла, а она уже лежит у меня на харде, не порядок )
    • Настройте торрент-клиент, чтобы он присылал уведомления. Например, Deluge у меня шлет уведомления с темой вида «Finished torrent Leverage.s02e12.rus.LostFilm.TV.avi» на почту. Можно использовать Mail2SMS шлюз, но если кино скачается ночью будет забавно — «хозяин, вставай, пора кино смотреть!» :)
  • Спасибо!
  • Не совсем понял, как в случае utorrent'а, заставить его проверять папку каждый промежуток времени на наличие новых .torrent файлов?
    • И подскажите пожалуйста, как в фильтр поставить исключение? К примеру я хочу все серии Доктора Хауса с лостфильма, кроме качества 720p, что нужно дописать в фильтр?
      • ввести параметре сортировки "" Видео: WEB-DLRip.""
  • Под виндой можно обойтись µTorrent'ом — в нём есть rss-качалка со схожими фильтрами.
    • Да, для таких лент, как на лостфильме и новафильме это отлично(там ленты специально адаптированные под торрент клиенты). Но данный способ насколько я понял позволяет качать отовсюду, где просто есть rss на торренте для новых тем. Настроить под Windows пока не удалось.
      • Не только рсс, но и вообще почти с любого ресурса.
        Более того он ещё умеет логинится на закрытые ресурсы
        • Промучился но под виндой банально не смог настроить чтоб это заработало, стыдно. Действительно на некоторых ресурсах очень не хватает этого функционала.
  • Поправте пример конфига, в yaml отступы критичны, кто этого не знает наступит на грабли.

    Пробую FlexGet 1.0r1108, там синтаксис конфига (плагины) несколько другие, но это решилось чтением документации. А вот чем ему фид lostfilm.tv/rssdd.xml не понравился не понятно, ругается ругательски:
    WARNING rss lostfilm Unhandled bozo_exception. Type: ValueError (feed: lostfilm)
    INFO feed lostfilm Feed didn't produce any entries. This is likely due to a mis-configured or non-functional input.
    • наступил на грабли, долго возился, вот мой рабочий конфиг:
      feeds:
  lostfilm:
    headers:
      cookie: "uid=******; pass=*****************"
    rss: http://lostfilm.tv/rssdd.xml
    regexp:
      accept:
        - 'Отчаянные домохозяйки'
        - 'Доктор Хаус'
    download: C:/Downloads/torrents/
  • для uTorrent оказалось проще добавить рсс
    lostfilm.tv/rssdd.xml:COOKIE:uid=*******;pass=***********

    и добавить расширенный фильр
    • А у торрент может к примеру стянуть файл с трекера, на котором нет рсс ?? К примеру с того же тру ))
      • нет, не может
        но применительно к лостфильму мне проще оказалось прикрутить рсс в уторрент

        т.к. не нашел сперва как грузить автоматом торренты в uTorrent, увидел что там есть рсс, ну и нашел как прикрутить туда куки

        кстати и правда поправьте в статье конфиг чтобы был с отступом
      • вообще статья полезная, я даже и не думал об такой возможности, а благодаря статье нашел как это делать в uTorrente
  • На всякий случай, немного инфы для скачивания с одного печально известного трекера

    Вот тут есть RSS c тсру
    http://xpoft.ru/torrents.ru/

    Там есть генератор лент и общая лента. После генерации не забудьте добавить префикс light.

    Общая лента
    http://xpoft.ru/torrents.ru/rss_light.xml

    Например, зарубежные сериалы появляются тут
    http://xpoft.ru/torrents.ru/rss_light.xml?189

    Далее можно пройти на страницу трекера, залогиниться и прочесть свои куки.
    flexget понимает куку bb_data, способ, конечно, не ахти, получается постоянно залогинен flexget'ом там.
    Кусок конфига выглядит где-то так:

      torrents.ru:
    headers:
      cookie: "bb_data=1-11556877-********-1607957666-1267706863-*******-2746524215-1"
    rss: http://xpoft.ru/torrents.ru/rss_light.xml?189
    regexp:
      accept:
        - 'Теория большого взрыва'
      reject:
        - 'eng'
        - '1-'
    download: /home/patricy/download/

    • не смог, правда, написать, чтоб не скачивались не нужные раздачи: например, часто появляются паки с несколькими сериями и называются они по-разному. И «Полный сезон», и «1-16» (пока для этого у меня reject «1-»), и «18 серий из 21», и на англ… Посоветуйте что-то, чтоб было только «x серия из y» и только Кураж Бомбей.
Только авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста.