войти зарегистрироваться

Я пиарюсь whois

индекс
146,06

LiveJournal в Google Reader done right

Не раз я встречал сервисы, которые позволяли получить френдленту из ЖЖ в Google Reader или каком-либо другом RSS-аггрегаторе. Но все эти сервисы меня по той или иной причине не удовлетворяли — одни пароль на стороне сервера от ЖЖ хранят, другие — говорят, что используют сверхсекретный алгоритм шифрования и не открывают исходники сервиса… Не нравилось мне всё это и вот на свет появился еще один велосипед, надеюсь, наконец-то с круглыми колёсами.

Во-первых, велосипед с открытыми исходниками, во-вторых, сделанный по возможности с упором на безопасность. Например, для сохранения логина/пароля в секретном URL-е используется SHA1-OFB шифрование, также, при желании контент «подзамочных» записей можно вырезать из ленты, оставив только их заголовки.

Хостится сервис на Google AppEngine, за почти месяц тестирования несколькими людьми проблем обнаружено не было. Адрес — rss-proxy.darkk.net.ru

Ответы на некоторые из возникающих вопросов можно найти в FAQ сервиса. Если кому-то кроме меня сервис будет полезен — буду рад. Критика и пожелания приветствуются.

UPD: спасибо неизвестному тестировщику, найдено и пофикшено два бага даже не смотря на то, что тестер не отписался в комментариях — система оповещения об необработанных исключениях в django работает как часы.

UPD2: обнаружилась пара багов в ЖЖ, проявляющиеся для некоторых юзеров и мешающих работе сервиса:
  • если во френдленте есть RSS-трансляции, то ЖЖ отдаёт не валидный XML
  • списки френдов в fdata и FOAF бывают не согласованы


UPD3: Добавил к сервису страничку с новостями и их Atom-поток. О всех дальнейших обновлениях буду писать там.
+33
31 января 2009, 23:57
31
darkk

комментарии (107)

  • спасибо, попробуем)
    … как только с сессией разберусь)
  • Нужна штука, спасибо.

    *ждем массы постов а-ля «и подарите пасс от своего ЖЖ» :)))*
    • Как-то вот так :(
      clip2net.com/clip/m4625/1233444847-clip-47kb.png
      • Всё правильно — теперь OPML-файл сохраняете и импортируете его в RSS-читалку.
      • На всякий случай добавил в заголовок OPML-файла комментарий с сжатой до предела инструкцией :-)
        • Упс, спасибо :) Мелькнула такая шальная мысль, но почему-то решил, что будет линк на файл.
          Кстати, в топик неплохо бы линк на главную
          • Чтоб дать линк на файл — надо либо информацию на стороне сервера сохранить, что по дизайну избегалось по возможности, либо URL файла будет заоблачной длины (а по стандарту длина URLа ограничена).
        • Импортировал в ридер, появилось меню livejournal с массой подменю. Но по нажатию на родительское «livejournal», по которому по идее должны показываться все записи в хронологическом порядке, показываются только записи из одного сообщества.
          • Подождите минуту-другую, гуглеридер же не сразу все двести фидов скачивает :-)
            • Так вопрос не в том, что чего-то не хватает, а в том, что по нажатию на вот эту кнопку показываются сообщения тольк из сообщества о «Хаусе».
              jj2
              Хотя, по идее, должны показыаться все ленты в порядке их поступления.
              Но я в любом случае еще завтра проверю :)
            • А может было бы лучше сделать выбор — чтобы каждый френд был отдельной подпиской или чтобы френдлента была одной подпиской?
              • Представим, что френдлента — отдельная подписка.
                Тогда надо реализовать на стороне «проси» кэширование подписок, т.к. делать 400 почти одновременных запросов в ответ на запрос френдленты — плохой вариант, их перегруппировку и парсинг.

                «Наивная» обработка сотни подписок за один запрос имеет хороший шанс отвалиться по таймауту, а делать это «по уму» не вижу смысла, т.к. RSS-ридеры УЖЕ предоставляют возможность группировки подписок по папкам.
                • Щас поюзал, очень удобно. Единственное чтобы хотелось — при создании rss френдленты был бы выбор как обзывать каждую подписку — т.е. по нику юзера, или как у него страничка называется
                  • Скажите честно — вы действительно хотите еще одну галочку?..
                    Если да — занесу в TODO, но просто у меня впечатление, что галочек уже слишком много :-)
                    • Реально — у меня во френдах, около 200 человек, и я не могу запомнить название каждого ЖЖ. Очень был бы рад за галочку. Или по дефолту бы сделал чтобы ник выводился, а не название
                      • Ну тогда подписывайтесь на фид новостей сервиса rss-proxy.darkk.net.ru/feeds/sitenews — как сделаю, добавлю новость.

                        Но не обещаю никаких сроков — работы много последнее время.
                        • Ok. Заранее спасибо. Буду ждать с нетерпением
                          • Сделал вместо галочки дополнение в конце имени фида, думаю, так удобнее.
                            Или нет?
                            • Ну вообще не очень удобно, но я уже думал что это финал и руками половину переименовал. Вопрос в том — у процентов 10 ников нет не одного поста, судя по рсс, хотя в действительности они есть. И еще одна не состыковка — у некоторых юзеров дата всех постов — вчерашний день 14.38, а у некоторых — реальные даты постов
                              • Я для себя поступил просто — удалил старую папку livejournal.com и добавил новую, экспортом нового OPML-файла.

                                Про 10% ников интересно — можете привести примеры? Не обязательно секретную ссылку, должно быть достаточно ссылки на сам ЖЖ.

                                Несостыковки на самом деле нет, google reader показывает не дату поста, а дату получения этого поста ботом. Можете навести курсор на дату и появится окошко, показывающее дату поста и дату получения поста ботом.
                                • Про ники извини — видно косяки от гугла были, щас все ok. Но вот интересно, что у некоторых юзеров, дата стоит 13.01.2009, а у всех остальных 14.38
                                  • Да, френды, которых читают через «секретный URL» при таком обновлении подписки будут стягиваться заново, т.к. каждый раз генерируется новый URL (из соображений безопасности).
                                • Хотя нет, на счет юзеров наврал — вот например юзер — s1mon-jj (он конечно давно не постил, но гугл говорит — Запрашиваемый канал не найден.)
                                  • Чудеса… А он у вас во взаимных френдах или нет?
                                    • Да, во взаимных
                                      • Гм. Странно, должно работать. Если можете, пришлите мне секретную ссылку на почту или в jabber, мой PGP ключ можно найти по любой из следующих ссылок:
                                        darkk.net.ru/keys.html
                                        pgpkeys.mit.edu:11371/pks/lookup?op=vindex&search=0xDCFABD5C
  • Недостает разбиений на группы. Я например читаю 3 френдленты соответствующий 3м группам, было бы логично иметь возможность читать 3 фида не мешая все в кучу
    • ЖЖ из соображений приватности не предоставляет публичного интерфейса к этой информации, хотя через API с паролем доступ должен быть, но я еще не смотрел в этом направлении.

      Еще не хватает фида, в который будут валится новые ссылки на тех, кого зафрендили/отфрендили, чтоб в reader не забывать их добавлять.
      • А можно чуть популярнее объяснить процесс превращения урла в ключи от квартиры?
        • Логин/пароль/реальный-url склеиваются и шифруются секретным ключом сервера, после чего отдаются пользователю, соответственно, когда ридер дёргает URL — данные расшифровываются, используются и «забываются», т.к. хранятся только во время обработки запроса.
          Это имеет два плюса при прочих равных — при утечке URL-а не утекает пароль, а также можно запретить выдачу новых feed-ов, если вдруг неожиданно сервис станет популярным настолько, что в лимиты GAE не впишется.

          Подробно — в сорцах (не сильно причёсанных). Для примера стоит смотреть функции generic_mkfeed и get_feed.
          • Не потому что не доверяю, но просто интересно, ведь остается возможность перехватить пару логин: пароль что в момент ввода, что в момент расшифровки. Допустим вы злой разраб и хотите эти пары потырить, что вам помешает? Опенсурс это хорошо, но в моем понимании серверный код всегда можно допатчить под себя. Или не?
            • Для этого нужно иметь доступ как к ключу сервера так и к логам или обработчику запросов, естественно у разработчика этот доступ есть, ровно как и у хостера, и ничего злонамеренному разработчику не мешает писать пароли в лог, на этот случай можете взять сорцы и поставить себе, ну или сделать свой велосипед. :-)

              MITM возможен только в момент ввода пароля пользователем, т.к. digest-авторизация к такой атаке устойчива, но даже на этот случай можно сделать вот что — GAE даёт возможность использовать SSL… Но, думаю, это уже для профессиональных параноиков, насколько помню, даже сам ЖЖ так трепетно к паролям не относится.

              Идея в том, что у сервера нет «состояния», которое мог бы получить злобный хакер, если бы использовал какую-то уязвимость в приложении, максимум, что он получит — ключ сервера. Но доступа к логам приложение не имеет — т.е. пароли из «старых» запросов не утекут.

              В одном месте пароль кэшируется для улучшения производительности и соблюдения правил взаимодействия ботов с ЖЖ, но, во-первых, этот пароль кэшируется на одну минуту, во-вторых, кэшируется не сам пароль, а его хэш с солью.

              Таким образом злобный хакер имеет еще одну альтернативу — внедрить свой обработчик запросов. Я не знаю, насколько это вообще возможно сделать при условии, что python время от времени перезапускается и, более того, я вообще плохо представляю, как можно сделать code-injection без eval или include. Но даже если это произойдет — требуется это делать с максимальной осторожностью, т.к. о почти всех аномалиях во время обработки запроса (необработанных исключениях) приходит отчёт на мыло.
  • Не совсем понимаю, а чем не нравится «ручной способ», то есть добавлять в rss-читалку фид вида www.livejournal.com/users/USER/data/rss?auth=digest, где вместо USER имя пользователя? Ведь удобнее же, нет?
    • Гугл ридер тогда останется в стороне :(. Да и не все читалки держат авторизацию по дайджесту.
      • Ох да, я забыл про гуглридер. Тогда конечно.
  • после нажатия кнопочки поехали в хроме пустая страница, лиса и опера пишут
    «С этим XML-файлом не связана ни одна таблица стилей. Ниже показано дерево элементов.»
    а хочется автоматического создания ссылки чтобы вставить в гуглридер
    • По крайней мере огнелис показывает также комментарий, поясняющий, что с этим файлом делать. Опера показывает?

      А с хромом, да, беда — но у меня, увы, хрома нет, т.к. под Linux его еще не спортировали. Как вариант, можно отдавать файл сразу на сохранение.

      Почему я не сделал ссылку, я уже говорил.
      Чтоб дать линк на файл — надо либо информацию на стороне сервера сохранить, что по дизайну избегалось по возможности, либо URL файла будет заоблачной длины (а по стандарту длина URLа ограничена).
      • автоматическое создание opml файла, с предложением сохранить его куда нить, не реализовано тоже для безопасности?
        • Так на выходе и выдаётся OPML с XML-ем, его просто сохраняешь и всё.
          Или у вас сохранение не работает?
          Или вы предпочитаете, чтоб вместо демонстрации файла открывался сразу диалог сохранения?
          • Думаю лучше всего дать выбор посредством чекбокса «посмотреть код» или типа того. А по дефолту чтобы предлагало сохранить.
  • На мой ник — fred-s, говорит, что я ввел что-то странное))
    Поможете??
    • На самом деле ваш ник fred_s, посмотрите в ЖЖ-профиле.
      Как вы считаете, стоит делать «угадывание» правильного логина?
      • Нет.
      • Тем не менее fred_s падает в ошибку 500…
        • В том числе и на вас проявляется баг #2 (несогласованность FOAF и fdata).
          Сегодня после работы попробую сделать какой-нибудь разумный workaround.
        • Вообщем, если желаете — можете подписаться на новости :-)
          Как только пофикшу — напишу туда.
        • Кстати, пофиксил.
          • Спасибо большое, уже использую)
  • не-работате.png - image uploaded to Picamatic
    Ням, и в хроме тоже одна строка. Я привык что они хоть и не могут показать иксмээль файл, но выводят весь контент, а не одну строку, так что что-то тут не так.

    При попытке сохранить или посмотреть исходники получается главная страница.
    • Гм… Н-да. Спасибо за скриншот, стали чуть-чуть более понятны корни проблемы и возможные варианты решения.
      • +1, у меня тот же результат. рсс-лент во френдленте нету.
        • Вы про RSS-трансляции?
          Я считаю, что RSS-трансляции стоит брать из первоисточника, а не пропускать их через ЖЖ, тем более бага #1 (invalid xml) вызвана как раз кривой поддержкой RSS-трансляций в ЖЖ.
    • Ну и кстати в том числе и на вас проявляется баг #2 (несогласованность FOAF и fdata)
      • Простите, кнопкой ошибся.
  • сервис, который я искал так давно, однако есть один недостаток.
    Я читаю не всех своих друзей и сообщества, а только некоторое подмножество из них, это подмножество четко происанно в группе.
    Было бы очень хорошо, если можно было бы транслировать все из ленты.
    • Когда у меня в очередной раз случится приступ свободного времени — доделаю экспорт информации о группах… Если документация ЖЖ не врёт :-)
      • если не сложно отпишите тогда мне сообщения, сразу начну пользоваться сервисом.
        т.к. нет желания при добавлениее пользователя в жж лезть с сервис и тут тоже менять.
        хотелось бы просто получить RSS моей группы IReadIt.
        Спасибо!
        • Если желаете — можете подписаться на новости :-)
          О всех обновлениях я там, конечно же, упомяну.
  • На главной странице сайта опечатка — слово «стррадают» (две Р)
    • Спасибо.

      Пора бы мне уже освоить spell-checker в vim :-)
  • Не вкурил как это запихнуть в Google Reader. После последнего «Поехали!» появляется открытый OPML-файл и все. :(
    • копи паст в блокнот какой нить. сохраняете с расширением opml, в гуглридере выбрать экспорт opml файла, ну и собственно экспортируете свой файлик. да, если пользовать обычный блокнот, то сохраняете в unicode
      • либо просто «Файл — Сохранить как...»
        • у меня было только 2 варианта, либо как html либо как xml
          • вот xml Вам и нужен
        • Ага. Как раз так и сделал. ;)
  • Было бы неплохо переделать френдлист, убрав юзерпики и сделав его более компактным (например четкую изящную табличку а ля гугломыло). И добавить ряд чекбоксов которыми можно было бы указать какие контакты надо вгонять в opml. На случай если хочется изначально не всех читать, или нужно добавить контакт-другой к списку. Естественно чекбокс «выделить всех» тоже нужен.
    • Это да, ожирением он слегка страдает. А скриншот контактов гуглемыла не покажете?

      По поводу кого вгонять в OPML, а кого нет — по идее эта проблема должна исчезнуть, когда поддержка групп появится.
  • И еще своя собственная лента с новостями не помешала бы. Писать туда о новых фичах, опять же можно будет оповестить подписчиков о важных изменениях типа смены ключа — вдруг похакают! Так как сервис подразумевает прохождение приватной инфы, было бы неплохо иметь оповещалку на случай форсмажора. Это конечно во мне параноик говорит =)
    • Если оповещалка и будет — только в формате RSS-фида и только после того, как основные баги пофикшу, т.к. делать регистрацию и хранить контакты пользователей для оповещения — не самая лучшая идея.
    • Подумал, и сделал ленту перед тем как фиксить баги.
  • Все время получал ленту из жж в reader по вот такой ссылке

    • Все время получал ленту из жж в reader по вот такой ссылке без каких либо сторонних програм.

      http://[пользователь].livejournal.com/data/rss

  • зачем вообще нужно чтение френдленты из rss-ридера?
    ведь теряется главное преимущество — комментарии
    по-старинке можно на один пост несколько раз посмотреть и сравнить количество комментариев. вдруг что новое появилось?
    • На комментарии у интересных постов можно подписаться через web-интерфейс ЖЖ — будут на почту приходить. У хабра, кстати, тоже у каждого поста есть RSS-фид комментариев.

      Ну а вспоминать сколько было комментариев у поста день назад когда за сутки тебе в RSS сваливается порядка 200 записей… Нет уж, спасибо :-)
      • ну это у кого как… я как раз в френд-ленте оставил такие, для которых комментарии мне интересны
        там постов штук десять в день получается
        а остальные (тысячников-там всяких) уже давно вручную в ридер добавил
  • Может перенести в блог RSS? Тем более что там уже есть пара постов на ту же тему.
    • Думал, но мёртвый он какой-то… Два читателя и вы-админ, таким образом, даже если все их них читают хабраленту и каждый поставит записи плюс — всё равно на главную пост не попадёт, а мне было важно чтоб максимальное число бравых тестеров поискали баги и высказали предложения.
      • ок: )
        Хозяин — барин )
  • не работает =( не могу скормить свой жж вашему сервису =(
    • Что говорит-то? Мне уведомлений об internal server error сегодня не приходило.
      • не проходит мой аккаунт ни так zigzag-mcquack ни так zigzag_mcquack
        • zigzag_mcquack должен проходить, с дефисом вместо подчеркивания — не должен.
          • о, сегодня все без проблем! спасибо, но вчера на самом деле не проходило =(
        • P.S. скопируйте точный текст ошибки. Там при неправильном логине и пароле разные ошибки.
          • сейчас уже нет ошибок. но вчера сервис все время ругался на мой lj id
            • Вчера(?) LJ некоторое время был недоступен — они сервера обновляли.
              Должна по идее была выдаваться ошибка:
              «К сожалению, происходят какие-то странные проблемы со связью, давайте попробуем еще раз.»
  • Что-то не получается, добавляются только группа livejournal, а лент в ней нету (хотя в ompl-файле они есть). Делаю opml-файл, импортирую его в Sage (так же пробовал в NewsFox). Что делаю не так? Или это к разрабам этих реадеров?
    • Про Sage и NewsFox ничего сказать не могу. А они же, вроде, «настольные», неужели они HTTP-авторизацию не умеют?
      • NewsFox умеет. только муторно моих rss 300 френдов и сообществ добавлять вручную.
        • www.livejournal.com/tools/opml.bml?user=rengel

          ?
          • хм. не знал что так можно. Соханил как opml файл. Добавляется куча групп c френдами, но лент в них нету.
            • Вообщем, эксперимент показывает, что ваш агрегатор явно не любит фиды от ЖЖ. Чем уж они провинились, не знаю. Можно еще вместо rss попробовать atom потоки…
              • а как создать atоm поток?
                • Заменить в ссылках «rss» на «atom» (жж отдаёт оба варианта).
                  • результат такой же. Видимо не судьба(
                  • Какая-то аномалия. Сделал opml файл по примеру который точно понимает newsfox. результат тот же. Если добавлять вручную то всё ok, фиды добавляются.
                    • ЖЖ отдаёт OPML, который может в некоторых случаях не являться валидным UTF-8.
                      Возможно, причина в этом.
                      • Похоже что в этом. А что можно с этим сделать?
                        • Проверить на UTF-8 валидность (в vim, например) и отредактировать…

                          Хотя мне кажется, что я уже запутал вас и запутался сам.
                          Может проще вам нужный %LJ::username% сказать, чтоб я сам посмотрел на корректность OPML? Пароль не нужен.
                          • username: rengel
                            • Вообщем, у меня кончились гипотезы, почему через прямую ссылку добавляется нормально, а скопом не может.
        • А потом пройтись по файлу searc'n'replace, заменяя «rss"» на «rss?auth=digest"»
  • Яндекс.Лента скушала opml-файл, отрапортовала о добавлении новых лент, но фактически ничего не добавилось :( Ребят, кто-нибудь сталкивался с таким? Или надо подождать?
    • Подождите с час хотя бы, т.к. проверять 500 новых лент за две секунды робот по вполне понятным соображениям не будет.
      • Ok! Спасибо, Леонид, за полезный сервис)
Только авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста.