Linux для всех

индекс
247,21

FlexGet или Бекапим инетернет автоматически

image

Доброго дня, Хабр!
Довольно давно хотел как то автоматизировать закачки с трекеров любимых сериалов. И вот наконец неделю назад чисто случайно наткнулся на довольно интересную софтинку FlexGet.


FlexGet — это многофункциональный инструмент для автоматичиской закачки торрент-файлов, продкастов, фильмов сериалов и т.д. FlexGet способна обрабатывать различные источники, такие как RSS-каналы, HTML-страниц и даже CSV-файлы. Более того она может сортировать по качеству видео, звука, рейтингу IMDB и даже умеет автоматом качать субтитры. И является плагином для Transmission и Deluge.
Но работает с rTorrent и привычным всем uTorrent — для этого нужно элементарно подсунуть им торрент файлы.
Она оказалась ещё и кросплатформенная Win/Linux/BSD/Mac, так как написана на питоне. На официальной страничке есть подробное пошаговое Руководство к установке на всех платформах.

Мне нужно было что было натравить её на рсс-ки и качать определённые фильмы, сериалы, чтобы потом комфортно смотреть через медиацентр. В распоряжении уже была настроенная торрент качалка на debiane с установленным rTorrnet. Дело за малым — натравить FlexGet на нужную рсс-ку.

Вот самый простой кусочек конфига:

feeds:
lostfilm:
headers:
cookie: "uid=xxxxxx; pass=xxxxxxxxxxxx"
rss: lostfilm.tv/rssdd.xml
regexp:
accept:
- звёздные войны
- За Гранью
- Американская семейка
- Доктор Хаус
download: /media/torrents/session/


Заходит на RSS, ищет упоминание о нужных сериалах и вытаскивает торрент файлы и складывает в папочку. Там их подбирает рторрент и начинает закачку.

В конфиге рторрента нужно было добавить строку, чтобы он проверял наличие новых торрент фалов в папке:
schedule = watch_directory,5,5,load_start=/media/torrents/session/*.torrent

Теперь осталось добавить задание в крон. Чтобы каждые пару минут запускался FlexGet.

ИТОГО: Придя вечером домой мне достаточно будет просто включить медиацентр и смотреть новые фильмы.

А вот если заставить её работать с Deluge — то она может раскладывать по папочкам скачанные фильмы. «Вася пупкин\Сезон1\720р\Серия1»
Вот пример.

Всем спасибо за внимание.
+50
7 февраля 2010, 16:25
93

комментарии (65)

+4
m0Hze #
Огроменное спасибище! Как теперь удобно будет качать сериалы с лостфильм! Ну просто глубокий вам поклон, пойду настраивать!
0
Alukar #
это только пример, так же можно тянуть почти с любого трекера )
0
m0Hze #
Самые интересные для меня сериалы на лостфильме)
+7
Kastrulya0001 #
Хаус это наше все!
–1
m0Hze #
Кто то сильно не любит сериалы :(
+1
mokaton #
Хаус уже не торт
–3
BReal #
Сделайте мануал под windows server! Я вам буду очень признателен, если я тоже буду приходить домой и включать любимое кино без гемороя :)
0
Alukar #
–2
BReal #
Фенкс!
+1
RazoR_Empire #
Из руководства по установке с офф.сайта:
> To change default editor for crontab, you can use command:
> export EDITOR=nano


А вот выходить из «vi» они так и не научились)))))))
+6
Aquahawk #
vi жесток, я первые пару раз вообще reset'ом из него выходил. Освоился только по книжкам, зато теперь vim мой любимый консольный редактор.
+1
RazoR_Empire #
Такая же фигня, в первый раз я тоже испугался))) теперь только в нем работаю :)
0
Tiradoir #
А что за книжки? Я только в nano конфиги ковыряю обычно.Немогу овладеть дао vim.
+3
Averrin #
для начала хватит запустить вместо вима vimtutor. Вроде даже русский вариант есть.
+1
Aquahawk #
Ну и конечно habrahabr.ru/blogs/vim/
0
Tiradoir #
Спасибо всем в этой подветке про vim, за ответы.
Незнал что тут оказываеться блог vim был и есть.
Возьму на заметку и займусь изучением.
+3
NucleoFag #
Насколько помню, он сам дает подсказку, как из него выйти
+1
Aquahawk #
значит плохо даёт.
+5
NucleoFag #
Ну, у меня сразу при старте, например
0
Aquahawk #
Это если его пустым запускать. А если файл открыть, то там такого не будет. А если файл изменить то по :q он не выйдет.
+3
NucleoFag #
А Вы, простите, его первый запуск сразу с именем файла в качестве параметра производили?)
Да и по Ctrl+C он дает эту же подсказку, проверьте. А если изменить и заюзать :q, он сам предложит добавить недостающие знаки препинания, для пущей повелительности наклонения =)

Хотя, чего греха таить, я тоже люблю vim, но и я первый запуск (тогда еще vi) завершал по Ctrl+Z, а потом параллельно читал ман=)
0
alexevil #
если он редактор по умолчанию — при вызове crontab -e Вы попадаете в vim с уже открытым файлом, соответственно шансов увидеть эту подсказку нет. И таких ситуаций много.
+2
NucleoFag #
Спорить не буду, вижу перед собой человека опытного. Просто борюсь за справедливость, говоря, что и vi под силу новичку, и что он в меру удобен и дружественен. Но новичков не наблюдается, потому спор бесполезен и подобен игре в одни ворота)
+1
xiaose #
мой первый запуск vi был когда я по SSH написал под рутом visudo чтобы вставить всего лишь «xiaose ALL=(ALL) ALL» на сервере на другом континенте… после этого, хоть и понимаю как пользоваться vim но все равно его ненавижу и везде где могу меняю default editor на nano ибо — нефиг конфиги менять из под этого страшилища.
0
NucleoFag #
Я тоже nano часто юзаю — проще)
+7
NucleoFag #
Спасибо товарищу с минусометом, регулярно минусующему все мои каменты. Без Вас я бы, пожалуй зазнался и возомнил)
–1
bezgubov #
vim от vi как раз и отличается наличием подсказок, ты отвечаешь на каммент о vi
0
NucleoFag #
Извините, но Вы неправы.
пруф
Подсказки и в vi есть и были
0
bezgubov #
можно цитату про подсказки в vi?
одно из основных отличий vim то vi это Редактирование командной строкой и подсказок там нет
0
Laciel #
И вот наконец нЕделю… Поправьте. :-)
0
Alukar #
поправил )
0
Tiradoir #
Спасибище вам.Теперь следить будет еще проще.
Теперь не надо будет качать торрент на машине, и кидать на сервер, а сам сервер будет выкачивать.
Big thx,good day и желаю много положительной кармы.
+1
rdolgov #
ага, давайте забэкапим инет ;)
+2
rialTresH #
Сайт с софтиной словил Хабраэфект )
0
errno #
Не удивительно, там на главной написано «Site may be slow at times, hosted on DSL :(»
–1
Zubchick #
А! Ну наконец то рсс в трансмишне! А то прям намучился :(
0
kenn2008 #
В qTorrent загляните.
0
non7top #
а кторрент встроено
+1
Alukar #
не то что там не со всеми фидами корректно работает)
–1
strm #
а у меня rssdler'ом подкидываются торрент файлы rTorrent'у, с помощью скрипта скачанные сериалы раскидываются по папкам в виде ...\Chuck\Season 3\Chuck.S03E06.HDTV.XviD-LOL.avi и в итоге схавываются XBMC, который тянет описание и субтитры
–1
Tiradoir #
А подробнее можно что за скрипт?)
–2
t0mmy_gun #
Почему-то всегда считал, что такой функционал уже есть почти в любом торрент-клиенте.
0
Alukar #
А разве функционал в торрент клиенты могут обрабатывать хтмл странички ?? Либо закрытые фиды ??
–1
afiskon #
Интересно, какой Вы используете, что в нем встроенный RSS-ридер?

ТС, за статью спасибо. Но я вот предпочитаю держать такие вещи под контролем — качать фильмы после того, как к торренту появится несколько положительных отзывов и так далее. Кто его знает, что накачает FlexGet в мое отсутствие с рсс-ов под видом House M.D.
0
Alukar #
он ведёт свою базу ,2 одинаковых точно не скачает. А вот на закрытых ресурсах качает исключительно то что указанно в конфиге. За неделю работы ничего стороннего не скачал.
0
tree #
Круто, если бы еще говорил — что, когда, где скачал ) К примеру, я вообще не знаю что новая серия Хауса вышла, а она уже лежит у меня на харде, не порядок )
0
errno #
Настройте торрент-клиент, чтобы он присылал уведомления. Например, Deluge у меня шлет уведомления с темой вида «Finished torrent Leverage.s02e12.rus.LostFilm.TV.avi» на почту. Можно использовать Mail2SMS шлюз, но если кино скачается ночью будет забавно — «хозяин, вставай, пора кино смотреть!» :)
0
LeniH #
Спасибо!
0
AmoN #
Не совсем понял, как в случае utorrent'а, заставить его проверять папку каждый промежуток времени на наличие новых .torrent файлов?
0
AmoN #
И подскажите пожалуйста, как в фильтр поставить исключение? К примеру я хочу все серии Доктора Хауса с лостфильма, кроме качества 720p, что нужно дописать в фильтр?
0
Alukar #
ввести параметре сортировки "" Видео: WEB-DLRip.""
–1
navion #
Под виндой можно обойтись µTorrent'ом — в нём есть rss-качалка со схожими фильтрами.
0
AmoN #
Да, для таких лент, как на лостфильме и новафильме это отлично(там ленты специально адаптированные под торрент клиенты). Но данный способ насколько я понял позволяет качать отовсюду, где просто есть rss на торренте для новых тем. Настроить под Windows пока не удалось.
0
Alukar #
Не только рсс, но и вообще почти с любого ресурса.
Более того он ещё умеет логинится на закрытые ресурсы
0
AmoN #
Промучился но под виндой банально не смог настроить чтоб это заработало, стыдно. Действительно на некоторых ресурсах очень не хватает этого функционала.
+1
errno #
Поправте пример конфига, в yaml отступы критичны, кто этого не знает наступит на грабли.

Пробую FlexGet 1.0r1108, там синтаксис конфига (плагины) несколько другие, но это решилось чтением документации. А вот чем ему фид lostfilm.tv/rssdd.xml не понравился не понятно, ругается ругательски:
WARNING rss lostfilm Unhandled bozo_exception. Type: ValueError (feed: lostfilm)
INFO feed lostfilm Feed didn't produce any entries. This is likely due to a mis-configured or non-functional input.
0
Kfmook #
наступил на грабли, долго возился, вот мой рабочий конфиг:
feeds:
  lostfilm:
    headers:
      cookie: "uid=******; pass=*****************"
    rss: http://lostfilm.tv/rssdd.xml
    regexp:
      accept:
        - 'Отчаянные домохозяйки'
        - 'Доктор Хаус'
    download: C:/Downloads/torrents/
0
Kfmook #
для uTorrent оказалось проще добавить рсс
lostfilm.tv/rssdd.xml:COOKIE:uid=*******;pass=***********

и добавить расширенный фильр
0
Alukar #
А у торрент может к примеру стянуть файл с трекера, на котором нет рсс ?? К примеру с того же тру ))
0
Kfmook #
нет, не может
но применительно к лостфильму мне проще оказалось прикрутить рсс в уторрент

т.к. не нашел сперва как грузить автоматом торренты в uTorrent, увидел что там есть рсс, ну и нашел как прикрутить туда куки

кстати и правда поправьте в статье конфиг чтобы был с отступом
0
Kfmook #
вообще статья полезная, я даже и не думал об такой возможности, а благодаря статье нашел как это делать в uTorrente
0
Patricy #
На всякий случай, немного инфы для скачивания с одного печально известного трекера

Вот тут есть RSS c тсру
http://xpoft.ru/torrents.ru/

Там есть генератор лент и общая лента. После генерации не забудьте добавить префикс light.

Общая лента
http://xpoft.ru/torrents.ru/rss_light.xml

Например, зарубежные сериалы появляются тут
http://xpoft.ru/torrents.ru/rss_light.xml?189

Далее можно пройти на страницу трекера, залогиниться и прочесть свои куки.
flexget понимает куку bb_data, способ, конечно, не ахти, получается постоянно залогинен flexget'ом там.
Кусок конфига выглядит где-то так:

  torrents.ru:
    headers:
      cookie: "bb_data=1-11556877-********-1607957666-1267706863-*******-2746524215-1"
    rss: http://xpoft.ru/torrents.ru/rss_light.xml?189
    regexp:
      accept:
        - 'Теория большого взрыва'
      reject:
        - 'eng'
        - '1-'
    download: /home/patricy/download/

0
Patricy #
не смог, правда, написать, чтоб не скачивались не нужные раздачи: например, часто появляются паки с несколькими сериями и называются они по-разному. И «Полный сезон», и «1-16» (пока для этого у меня reject «1-»), и «18 серий из 21», и на англ… Посоветуйте что-то, чтоб было только «x серия из y» и только Кураж Бомбей.
0
Alukar #
по этому ману Отлично заработало простым копипастом ) Кстати взят вроде от сюда ) хе хе

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.