Linux для всех → Парсер RSS на bash для Лостфильма: щадящий режим для RSS сервера, проверка скачанного из песочницы
Доброго времени суток!
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.
Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант команды:
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.
Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант команды:
# Подготовка заголовка If-Modified-Since
lastmod="$( grep -m 1 Last-Modified response.out )"
header="If-Modified-Since:"${lastmod#*:}
Персональные блоги → Качаем с Depositfiles GOLD PHP + Wget
Короче ситуация была такова — полазил по сети, не нашёл нормальную качалку списка урлов depositfiles с голд аккаунтом под linux сервер.
В результате появилось на свет сие творение которое работает в странной связке php + exec + wget.
Прошу не судить, т.к. делалось под себя.
Конфиг — в начале указываем логин и пароль к голду и всё.
Что может (приоритеты проверок соотв.):
1. Работать с 1 урлом заданным через командную строку
2. Работать с 1 урлом заданным через $_GET
3. Работать со списком урлов
В результате появилось на свет сие творение которое работает в странной связке php + exec + wget.
Прошу не судить, т.к. делалось под себя.
Конфиг — в начале указываем логин и пароль к голду и всё.
Что может (приоритеты проверок соотв.):
1. Работать с 1 урлом заданным через командную строку
2. Работать с 1 урлом заданным через $_GET
3. Работать со списком урлов
Peer-to-Peer → Продолжаем парсить RSS теперь уже kinozal'a используя grep, wget/curl
В моем предыдущем посте про автоматизацию загрузок новых эпизодов с RSS ленты LostFilm'а хабраюзер AmoN поднял правильный вопрос о невозможности описанным мною способом загрузки раздач, прямых ссылок на torrent файл которых в RSS ленте не содержится. В качестве примера был приведен трекер кинозал.тв. Именно решению этого вопроса посвящен сей пост ;)
Peer-to-Peer → Парсим RSS LostFilm'a с помощью grep и передаем на закачку через wget
Однажды мне надоело вручную просматривать LostFilm на наличие новых вышедших серий и я решил автоматизировать этот процесс. Дело в том, что многие BitTorrent клиенты имеют в своих настройках так называемые папки слежения (wach directory). Как только в этой папке появляется новый torrent файл BitTorrent клиент сразу же начинает его загрузку. Обычной практикой, к примеру, является создание такой папки и открытие к ней доступа на запись по FTP. Теперь, все что нам требуется, это автоматизировать скачивание torrent файла по выходу нового эпизода в указанную папку для их дальнейшей автоматической загрузки. Как сделать именно это я сейчас и покажу.
Open source → Юмор в стиле Open Source
Несмотря на устоявшиеся представления о том, что приверженцы Open Source — унылые красноглазики, в лишний раз убедился в адекватности и позитивности настроя лидеров этого движения. Краткая предыстория такова:
Результат не заставил себя ждать:
- у нас есть маленькая Open Source-компания, генеральный директор сейчас занят разработкой весьма нетривиального робота для скачивания и обработки интернет-сайтов на C++;
- в связи с этим мы над ним давно шутим в стиле «хватит уже изобретать свой велосипед, когда для этого есть wget»;
- несколько дней назад в сети появилось объявление нынешнего разработчика Wget о том, что он собирается прекратить разработку и ищет себе преемника;
- на днях у нашего директора случился день рождения;
- мы решили подшутить над ним, попросив автора Wget написать ему письмо с предложением стать мэйнтейнером Wget вместо того, чтобы продолжать писать своего робота.
Результат не заставил себя ждать:
Google Chrome → Google Chrome и RamDisk. Автоматизация, бэкап и автообновление
Прочитав статью Отучаем Chrome кушать винчестеры, у меня появилась идея использовать рамдиск не только для Хрома, но и для многих других часто запускаемых приложений (WinRAR, Miranda, Firefox, веб-сервер, и т.п.).
Идеей я воспользовался, и остался очень доволен возросшей скоростью работы моего ноута (1000 мб/с против 35 мб/с!). Единственное, что потребовалось – сделать автоматический бэкап изменившихся файлов на рамдиске.
Для этой цели я решил использовать nnCron. Почитав форумы и всяческие хэлпы, я написал несколько скриптов, которые автоматизируют всю рутину, связанную с работой приложений на рамдиске.
В этой статье я затрону только браузер Chrome.
Итак, используем Chrome на рамдиске.
Идеей я воспользовался, и остался очень доволен возросшей скоростью работы моего ноута (1000 мб/с против 35 мб/с!). Единственное, что потребовалось – сделать автоматический бэкап изменившихся файлов на рамдиске.
Для этой цели я решил использовать nnCron. Почитав форумы и всяческие хэлпы, я написал несколько скриптов, которые автоматизируют всю рутину, связанную с работой приложений на рамдиске.
В этой статье я затрону только браузер Chrome.
Итак, используем Chrome на рамдиске.
Linux для всех → zenity + wget = GUI wget
Топик посвящается тем, кто не любит качать тяжелые файлы браузером из файлообменников, а также для тех кто хочет получше понять работу zenity.
В Linux есть много различных качальщиков от консольных до тяжелых java-приложений и мой скрипт это не еще один новый качальщик, это всего лишь приятная для глаз (eye-candy) обертка для стандартного Wget. Хотя в потенциале он умеет все что умеет Wget, но я реализовал только самые его основные функции. Цель данного скрипта — запустить закачку через wget (отвязав ее от браузера) и показывать ход ее выполнения.
В Linux есть много различных качальщиков от консольных до тяжелых java-приложений и мой скрипт это не еще один новый качальщик, это всего лишь приятная для глаз (eye-candy) обертка для стандартного Wget. Хотя в потенциале он умеет все что умеет Wget, но я реализовал только самые его основные функции. Цель данного скрипта — запустить закачку через wget (отвязав ее от браузера) и показывать ход ее выполнения.
Linux для всех → Умная ретрансляция [wget > fifo > ices0 > icecast]
Давайте поговорим немного про умную ретрансляцию mp3 потоков?
Возникла необходимость сделать качественный mp3 relay с четырех нестабильных источников (которые транслируют одно и то же), в основном для себя.
Возьмем, к примеру, KissFM. Есть 4 источника, которые периодически отваливаются (три потока звука одинаково хорошие и один похуже).
На данный момент реализация такая:
Возникла необходимость сделать качественный mp3 relay с четырех нестабильных источников (которые транслируют одно и то же), в основном для себя.
Возьмем, к примеру, KissFM. Есть 4 источника, которые периодически отваливаются (три потока звука одинаково хорошие и один похуже).
На данный момент реализация такая:
Linux для всех → Как качать с Rapidshare.com «free user», используя curl или wget
Появившаяся почти год назад статья про скачивание с многими любимого кладезя почти легальной вами же забэкапленной информации Rapidshare.com вызвала одобрение у публики хабра. За последнее время рапида убрала с себя капчу, сделала не столь долгим ожидание между загрузками, в общем, всем своим видом показывает, что с ней очень приятно работать. А если это можно делать ещё и бесплатно… так почему же нет?!