Если вы когда-нибудь пользовались веб-приложением Yahoo! Pipes, то представляете себе методы создания таких мэшапов, в которых взаимодействуют между собой сторонние сервисы. Например, можно автоматически сохранять в Instapaper все статьи, которые вы пометили в Google Reader, или посылать по почте сообщение, если завтра будет дождь.

Yahoo! Pipes — замечательный сервис, и ему посвящено несколько статей на Хабре, но у него есть недостаток: он довольно сложный в настройке. Разработчики сайта ifttt.com (If This Then That) постарались сделать интерфейс как можно проще.

Введение

В своем первом топике я писал как организовать скачивание избранных раздач с любимого torrent-трекера, не отвлекаясь от чтения новостей. В этом топике будет описан оверкилл-способ, позволяющий еще более упростить процесс получения информации о каждой конкретной раздаче, пришедшей к нам в виде записи RSS-ленты. Как известно, сам по себе RuTracker.org публикует в RSS-ленте только ссылки на соответствующие ветки форума. Никакого описания раздачи элемент ленты не содержит, а хотелось бы иначе.

Предвидя возражения в духе «Хватит изобретать велосипед, лучше возьми готовые RSS. Например, от xpoft.ru» (спасибо egor_bulychev за наводку; без сарказма, правда, спасибо), скажу следующее: инструмент интересный, шустрый, лента с нужным содержимым формируется в несколько кликов мышью. Но, к сожалению, сгенерированные им RSS-ленты не радуют постоянством содержимого элементов: то придет исчерпывающая информация о раздаче, а то только название, да постер. Причем зависимости содержимого ленты от фактического описания раздачи на RuTracker.org выявлено не было. Такой расклад меня не устраивает: хочется и описание почитать, и media-info со скриншотами посмотреть, да еще и не переходя на оригинальную страницу с описанием.

Рассказ о том, зачем и как я сделал для себя робота, который публикует микроцитаты с bash.org.ru, полностью влезающие в твит. А также о том, как я буду его развивать, если топик на хабре возымеет эффект, и количество подписчиков даст понять, что это интересно не только мне.

Предыстория

Последнее время всё больше журналов и газет выкладывают свои свежие номера в сеть (Ведомости, Эксперт, Esquire и т.п.). Все хорошо с этими номерами за одним исключением — что бы их читать нужен интернет.
С интернетом проблема в том что он не везде есть (метро) и не каждое устройство его видит (большинство e-ink ридеров).
В связи с этим родилась мысль о том что не плохо бы делать копии периодики в виде электронных книжек (например в FB2 формате).

Многие имеют свои подписки на новости и сообщения по RSS. У меня, к примеру, имеется подборка RSS блогов чиновников разных мастей — от президента, до региональных министров и депутатов госдумы. С открытием API рейтинга блогов появилась возможность сделать свой аналог рейтинга яндекса. Предлагаю вашему вниманию готовый шаблон — как сделать свой рейтинг для блогов, которые интересуют только тебя. Т.е. в него не будут входить записи из блогов, которые ты не хочешь читать или которые ты просто не знаешь. Имеются недостатки в следствии некоторых технических сложностей (об этом ниже).
Статья для тех, кто
— просто хочет ранжировать записи любимых блогов по простым алгоритмам. Потребуется только подготовить файл с подписками и расшарить его в интернете.
— кто хочет разработать для своих любимых блогов более сложный алгоритм
Если кратко технология рыботы нашего рейтинга такая — берём OPML-файл с подписками (рецепт приготовления ниже. Можно самому создать, а можно импортировать из rss-читалок), рисуем пайп (по сути, визуальная схема для работы с xml/rss/html) в Yahoo Pipes, где в цикле для каждой подписки делаем запрос к API Яндекса с последними записями из подписанных блогов, потом их объединяем, сортируем по количеству комментариев, визитам или как угодно и вставляем в свою страницу в виде небольшого виджета или берём результат как RSS.
Для того, чтобы получить быстрый результат с неким подобием рейтинга, можно просто зайти на страницу пайпа и ввести URL своего opml (свой я разместил на бесплатном хостинге и он подставляется по умолчанию).

Несколько раз приходилось сталкиваться с необходимостью загрузить N десятков точек на Карту Google. Плюс еще знакомые спрашивали как это сделать. Самое простое что сейчас предлагает Google — импортировать файл KML, KMZ, или GeoRSS. Вопрос только один. Где взять такой файл? Как его быстро сделать обычному пользователю?

Пинком к действию стал пост в сообществе ru_google.

Yahoo Pipes не может забрать фиды с хабрахабра.

Например,
http://habrahabr.ru/rss/lenta/ihl/мой_хэш/
http://habrahabr.ru/rss/lenta/мой_хэш
> error fetching http://habrahabr.ru/rss/lenta/ (503 Service Unavailable)

Хотя, в браузере все открывается.
Никто не сталкивался с этой проблемой?

Хотел использовать Pipes для того чтобы объединить свою личную ленту, с лентой 3.0 и исключить подкасты :)

upd: http://habrahabr.ru/rss/ периодически работает из «труб». Остальные все так же 503

Свёл всех участников экспедиции с активными блогами в одну ленту. Для удобства восприятия каждая запись начинается префикса включающего позывной машины и имя участника. Использовались сервисы Yahoo Pipes и FeedBurner.

Читать: Этнографическая экспедиция 2008