войти зарегистрироваться

Livejournal whois

индекс
51,83

SUP, don't be evil!

Некоторое время назад написал очередной велосипед для чтения френдленты ЖЖ в Google Reader и попеарил его на хабре. Сейчас сервисом пользуются порядка 150-200 человек, не много но и не так уж мало — небольшая такая неорганизованная толпа. Поначалу даже один разработчик из SUP поинтересовался, что за баги в ЖЖ я нашел и, более того, некоторые из этих багов были исправлены. И вот 30.09.2009 сервис был временно забанен в первый раз.
А дальше повествование о Sup, Tor, ФСБ и о том, как всем заправляет кровавая ГэБ-ня и аниме.

Как честная кодомартышка я написал вопрос на webmaster@livejournal.com: «А в чём, собственно, дело»? Через пару дней от саппорта пришла рыба с ответом: «Какой у вас User-Agent, внешний IP и читали ли вы bot policy».

Bot policy я, конечно, читал, но когда сервис только разрабатывался, на GAE не было возможности менять User-Agent — привёл я User-Agent в соответствии с policy и продолжил пить чай с плюшками. Но не долго. 2009.10.22 страница 403 Forbidden утверждала, что мой сервис нарушает уже не «Bot Policy», а «Acceptable Usage Policy», который я так и не смог найти, сколько не старался, но с этого момента саппорт на какие-либо вопросы по электронной почте перестал отвечать. После недели молчания support'а я в очередной раз сменил User-Agent и вернулся к чаю и сладостям.

В это время в одной далёкой-далёкой галлактике swined тоже решил заняться велосипедостроительством и сделал некий сервис lj2rss. Сервис, вероятно, был технически несовершенен, генерируя шквал запросов к ЖЖ и тоже вскоре был забанен. По IP-адресу. Не долго думая swined стал использовать сеть Tor, ну а ЖЖ тоже не лыком шиты — забанили все exit-ноды tor, что привело к бурлению говн в духе: «А-а-а-а!!! ФСБ и кровавая ГэБ-ня нажали на кастрюлю с СУПом, который задавил анонимность! А-а-а-а!!! В жежешечку теперь нельзя писать оппозиционерам! Обама должен выкупить ЖЖ из когтистых лап!». Забавно, да?

Так вот. Чтоб хоть как-то обелиться перед жаждущими анонимности пользователями, представитель SUP-а стал утверждать, что это всё злобный lj2rss, который provides a user with an RSS feed of their LJ friends page (normally a paid service). Наши американские коллеги в таких случаях восклицают: «Bullshit!» Почему? Всё просто. Идём читать FAQ ЖЖ №149:
Трансляции ленты друзей: пользователи платных и постоянных аккаунтов могут сделать свой стиль, который функционирует как трансляция в RSS для своих лент друзей. Живой Журнал не предоставляет встроенных трансляций для ленты друзей в RSS.

В переводе: ну да, это такой платный сервис, только мы его не предоставляем, т.е. предоставляем, но не его, а набор из отвёртки, vim, шаблонов на perl, howto на английском и 12-ю версию Lingvo для подстрочного перевода howto всеми желающими. Или всё же Lingvo каждому пользователю надо купить самому — я так и не понял до конца.

Более того, ЖЖ имеет штатный механизм генерации OPML с собственной френдлентой, доступный совершенно всем пользователям — от самых-самых basic до всех остальных.

Но вернёмся к нашим баранам. Получив очередной бан и поняв, что добиться ответа по по e-mail мне не светит я решил написать в сообщество lj_ru_support, оно же ЖЖ русскоговорящей поддержки (осторожно, при заходе по этой ссылке из Google Chrome браузер говорит: «опаньки!»). Попытка вышла довольно успешной — в сий премодерируемый блог моё сообщение не пропустили, но порекомендовали связаться с Ильёй Дроновым, который хоть и записан менеджером всё же не потерял програмистские корни. В первом письме он задал мне несколько технических вопросов относительно сервиса, во втором — 3.12.2009 — написал: «Сорри, у меня очень загруженная неделя. Постараюсь ответить завтра» — и исчез.

10.12.2009, вероятно, что-то случилось, может быть администраторы потеряли конфиги автобанилки, но всё внезапно начало работать.

Прошёл месяц. 10 января уставшие от праздников работники техподдержки ЖЖ разгребали незакрытые тикеты и наши все мои обращения по e-mail, посланные 3½ месяца назад. Ну и ответили на этот поимэйл старой сказкой: «Your RSS proxy is a violation of our Terms of Service because you are reproducing a feature only available to paid account members. For that reason, we will not be removing this ban.» — которая, как я показал выше, к реальности имеет довольно мало отношения.

Вот и подошёл к концу недоумения от ЖЖ псто — 200 юзеров не читают френдленту, нормального RSS френдленты нет и не предвидится, sup не отзывается. Если ЖЖ опять забанит Tor на днях, простите меня, я не специально. :-)
+72
18 января 2010, 16:07
darkk

комментарии (64)

  • community.livejournal.com/howto/40882.html — Вот это вполне сносно переводится на русский Google Translate'ом
    translate.google.com/translate?js=y&prev=_t&hl=ru&ie=UTF-8&layout=1&eotf=1&u=http://community.livejournal.com/howto/40882.html&sl=en&tl=ru
    Я включил себе спонсируемый аккаунт и прекрасно читаю ЖЖ-френдленту в Google Reader.

    А закрывают они это действительно потому, что этот сервис (в том числе) приносит им деньги. И их можно понять.
    • Подзамки можно читать только локальными агрегаторами, в онлайновые они не попадут.
      • Ну да, может быть и так. За то эту лавочку не закроют.
    • Вы читаете френдленту в Google Reader с подзамочными записями на спонсируемом аккаунте без использования ухищрений?

      Да, чёрт побери, даже на платном аккаунте, как я понимаю, нет возможности просто зайти на username.livejournal.com/friends, нажать кнопку RSS в адресбаре и радоваться, именно это меня и раздражает.
      • Скажите честно — Вы по ссылкам заходили? Кстати да: данный способ при использовании онлайн-читалок не позволяет читать подзамочные записи. Проверил ещё раз на всякий случай…
        • Я подумал, что вы говорите не о способе со стилями, упомянутом по ссылке, а о каком-то другом, ибо именно подзамочные записи и являются основным вопросом. Moreover, прочитать английское HOWTO для меня не проблема, но есть еще 150 пользователей, которых почём зря огорчать я смысла не вижу.

          Google Reader опять таки не поддерживает cookies, поэтому для данного случая тоже придётся городить proxy… Менять шило на мыло?..
          • Я начал было кодить проектик — агрегатор лент русских блогеров за рубежом, но даже громко анонсировать ссыкотно — поскольку 90% всех блогов на ЖЖ, в общем, даже не знаю — была мысль использовать curl + список проксей — но таким макаром lj побанят заодно и все открытые прокси…
            • Забавно — только один знакомый блог углядел.
  • френдленту можно удобно перенести в яндекс.ленту lenta.yandex.ru/
    а opml сгенерировать тут www.hungry.com/~fn/foaf.cgi
    • OPML можно сгенерить и средствами самого ЖЖ.
      Яндекс-лента умеет авторизоваться (то что в генераторе называется «auth links»)?
  • Чёто вы столько воды написали. Суп даёт возможность RSS за деньги или на спонсируемый аккаунт, вы пытаетесь это давать бесплатно. Им это не нравится, они вас зарубают, что, в принципе, логично.
    • мнээ… rss каждого отдельного человека в ЖЖ бесплатен. nickname.livejournal.com/data/rss

      Человек, судя по всему, сделал аггрегатор этого дела. И? :)
      • > И?
        И изобрёл френдленту, к которой прикрутил рсс. Дальше читаем мой коммент выше начиная со второго предложения.
        • Не верно. Френдленту делает google reader, сложив все фиды в одну папку.
        • Чем это отличается от любого другого rss-аггрегатора? Ну, за исключением того, что тут фид аггрегируется в другой фид
    • У меня нет аккаунта в ЖЖ, он мне нафиг не нужен, а вот RSS читать хочу.
      • хотите дальше, мне-то что
        сделайте в гугл-ридере папку и туда закиньте всех интересующих жж-юзеров, делов-то
    • Суп (ЖЖ) НЕ ДАЁТ такой возможности? о чём прямо написано в FAQ-е: www.livejournal.com/support/faqbrowse.bml?faqid=149

      «Живой Журнал не предоставляет встроенных трансляций для ленты друзей в RSS»
    • RSS френдленты с подзамками, а не каждого френда в отдельности, и без заморочек с авторизацией?
      • я не в курсе, как именно они дают рсс френдленты, факт в том, что вы «отбираете у них хлеб»
        • Увы, факт в том, что это ложь, я просто пеку совершенно другой хлеб — сдобу, вместо бородинкого, если возращаться к ватрушечным аналогиям. Я буду рад, если кто-то покажет мне, что я ошибаюсь.

          Да, есть RSS френдленты без подзамков, да есть возможность читать этот RSS с подзамками, если аггрегатор умеет авторизацию, забирая кукисы от браузера, но кукисы онлайн-аггрегатор не будет уметь никогда.
    • Нет, именно я решаю другую проблему — отсутствие в google reader поддержки авторизации.

      То, что десяток фидов будет в читалке выглядеть одной лентой ко мне никакого отношения не имеет. Логичее было бы забанить Google Reader следуя таким размышлениям, но вот беда — гугль «большой», а я «маленький» :-)
    • 1. суп не дает такой возможности, о чем ясно написано
      2. то, что дает суп без геморроя не подключишь, а когда подключишь оказывается, что это совсем не то — оно не подключаемо к гуглоридеру и большинству других читалок

      лично я начал писать lj2rss только потому, что других способов читать френдленту с подзамками в гуглоридере не существует. мне не сложно заплатить 3 бакса в месяц за возможность это делать. но платить некому — в жж нет такой фичи впринципе.
    • Почему же тогда владельцы платных аккаунтов не могут читать подзамочные записи в гугл ридере?
      • Понятия не имею, задайте этот вопрос в техподдержку ЖЖ.
  • darkk, don't be naive!
    • Ну мне Илья обещал ответить, а не ответил, я вот обиделся и решил поныть на хабре жалостливым тоном :-)
  • Это конечно всё ужасно. Но где про аниме?
    • Зато про человекоподобных роботов.
    • Ну… гэбня. Простите. Шутки — не мой конёк.
  • >при заходе по этой ссылке из Google Chrome браузер говорит: «опаньки!»
    не говорит.
    • У меня рождественский nightly build — он может.
  • Вопрос в rss для ленты друзей? Или я в танке? Я давно накрутил свой гугло-ридер на френдленту. Что я делаю не так? Аккаунт бесплатный. Палюсь?
    • Подзамочные записи тоже агрегируются?
  • Начало заинтересовывает но дальше лажа =)
    Извините =)
    • Я специально картинку не стал вставлять, чтоб слишком сильно людей не разочаровывать :-)

      Хотя факт, что бан тора был вызван якобы кознями ФСБ меня повеселил изрядно.
  • есть одно решение, которое возможно вам подойдет:
    нужно переписать сервис так чтоб часть отвечающая за сбор данных выполнялась на стороне клиента, тогда их не смогут забанить, а если они с вашего сайта получают готовую рсс то этот вариант не пойдет.
    • Сбора данных я не осуществляю, аггрегацию выполняет аггрегатор (простите), т.е. google reader, яндекс.лента и т.п.

      Мой сервис делает ровно одно — позволяет читать подзамочные записи в онлайн-аггрегаторе, который не умеет HTTP-аутентификацию.
    • это убьет сервис. большинство людей поленится, либо не сможет себе что-нибудь поставить. да и возникнут сложности с использованием этого на разных компах — публично доступные сервера с хорошим каналом, на которые это можно было бы поставить, доступны далеко не всем.
  • А я вот сервисом пользовался со времени его анонса на хабре. Сейчас он вроде работает, но записей получает очень мало. Временно добавил в ридер лж2рсс
    • Вам кажется :-)
      Дело в том, что те друзья, кто не взаимные, в результирующий OPML добавлялись в обход rss-proxy прямыми ссылками на livejournal, ибо подзамки не-друзей не увидеть. Вероятно, они и создают видимость работы.
  • Ильюха Дронов внятный человек, программерский навыки имеет, но страшно занят и действительно часто пропадает :) Всё правильно.

    С проблемой чтения френдленты через Google Reader (и многими другими) я разобрался просто — сказал «досвидания» жежешечке.
    • после того, как забанили lj2rss он пропал на 2 месяца и не появляется до сих пор. это правильно?

      про сказать «до свидания» жежешечке — я это сделал пару лет назад и вполне этим доволен. но есть проблема — много моих друзей все еще там и мне хочется их читать и дать возможность им читать меня. не все знают про рсс, гуглоридер и другие способы читать нормальные блоги нормальными способами.
    • Хе, спасибо, если это вы ему мой пламенный привет передали :-)
      • К сожалению это был не я.
        Мне самому его не всегда найти получается )
    • lasc
    • lasc
    • 18 января 2010, 23:52
    • #
      • –3
    Нужно выложить скрипт, работающий на хостинге с php, каждый себе поставит да и все
  • Блокируют и правильно делают — какой им прок от читателей, которые не видят их рекламы, не оплачиваются спонсорами и не покупают аккаунты? Мне бы тоже хотелось читать подзамки из гугла, но тем не менее, если сервисы, подобные обсуждаемому, наберут популярность — это будет вполне ощутимый удар по кошельку владельцев.
    • а еще им никакого прока от внешних блогв, на которые пользователи дают ссылки. их тоже можно запретить. ссылки, конечне, а не блоги. а то мало ли, поубегают еще в более приличные места и ничего платить не будут и рекламу не увидят.
      • Не надо передергивать.
        • не надо противоречить своим же собственным правилам.
    • Ну тогда почему бы не запретить просто чтение подзамков каждого отдельно взятого френда через RSS оффлайновыми аггрегаторами?

      Всё, что делает мой сервис — добавляет возможность авторизации, которую имеют оффлайновые аггрегаторы, онлайновым, более ничего сущестенного он не делает. :-)
      • >Ну тогда почему бы не запретить просто чтение подзамков каждого отдельно взятого френда через RSS оффлайновыми агрегаторами?

        Ну потому что тогда легко напишется утилита которая будет дергать посты через http, а это как раз уже будет epic fail (то есть лишняя затрата сил на ничего не дающее в итоге действие — способ обойти с локальной машины этот запрет всегда найдется). Зачем подталкивать программистов к тому чтобы ты с их помощью потерял еще больше денег? Плюс в данный момент те, кто пользуется оффлайновыми агрегаторами скорее всего не составляют особо большой группы пользователей, в то время как количество пользователей greader'а и подобных ему сервисов безусловно растет (Я сам перебежал на него с год назад).

        >Всё, что делает мой сервис

        Как я и написал выше — оффлайновые агрегаторы всего лишь неизбежное зло. Глупо было бы полагать что их использование нравится SUP'у, а так же то что им понравится очередная самаритянская фича для отвода денег от их кошелька.
        • Я не спорю, что сервис потенциально уменьшает количество показов рекламы, но тогда логичнее забанить Google Reader и зарезать возможность отдавать каждый блог в отдельности RSS-потоком вообще :-)

          Ну или отдавать через RSS посты вместе с рекламой, например. Некоторые сайты, кстати, так и делают.
          • Зарезать greader — это все-таки слишком неадекватно, согласитесь :) А так же вызовет нехилый резонанс, и неизвестно еще что будет лучше. Они особо не жадные и, насколько я понимаю, адекватно воспринимают такой отбор трафика, тем более что и он вряд ли является слишком большим процентом от общего числа пользователей. Про отдавать посты вместе с рекламой — это удел standalone блогов, который напоминает попрошайничество. Их хозяевам просто в голову не приходит что блоггинг — это не та сфера в которой стоит зарабатывать в интернете, если они хотят быть уважаемыми авторами, к которым не грех и на страницу зайти чтобы комментарий оставить, а не банальным источником информации.
            • Вообще, нет, не соглашусь. С точки зрения формальной логики — зарезаль greader это более адекватно цели максимизации прибыли от рекламы в краткосрочной перспективе, если не учитвывать побочные эффекты. Но фраза в заголовке «don't be evil» на то и намекает. Да и я выше говорил, что гугль «большой», а я «маленький».

              Пойти что ли поспрашивать знакомых в google да попробовать связаться с командой google reader для того, чтоб заняться реализацией поддержки digest-аутентификации в рамках GSoC-2010 :-)
              • >зарезаль greader это более адекватно

                Не соглашусь, это скорее вызовет отток пользователей, посещающих сам сайт lj, чем наоборот. Именно прямым эффектом, не касаясь побочных.

                >попробовать связаться с командой google reader

                Что мне подсказывает что рано или поздно эта фича у них обязательно появится, если SUP им еще не приплачивает за обратное :) Но это правильный, крайне правильный комментарий с вашей стороны.
              • не думаю, что эту фичу впринципе там будут делать. для ридера она очень невыгодна — вместо малого количества фидов с большим количеством читателей там будет туча приватных фидов с одним читателем. и каждый надо обновлять, что сильно увеличит нагрузуку без видимого профита.
                • Это довольно очевидно.
                  На самом деле это была несмешная шутка — в рамках GSoC никто над внутренними проектами google работать не даёт.
            • > отбор трафика, тем более что и он вряд ли является слишком большим процентом от общего числа пользователей

              до бана в lj2rss было несколько тысяч уникальных пользователей. даже по сравнению с количеством использующих ридер для чтения публичных жж-фидов это примерно ноль, не говоря уже об общем числе пользователей жж. какая может речь идти о недополученных деньгах? жж не потеряет ничего, даже если начнет доплачивать за это.
  • платные фичи в жж вообще вызывают недоумение. вроде и платить не за что, везде такое бесплатно, а нет же, не работает просто так!
  • darkk, ты за правое делом, продолжай бороться!
    • С кем? :-D
      • С гэбнёй, с кем же ещё :)

        Сервис у тебя был очень удобный, пользовался им активно.

        Как понимаю, можно поставить код на разные сервера и они устанут его блокировать?
        • Не устанут. Во-первых, там есть некоторая автоматика, как мне показалось, которая занимается этим, во-вторых, всё же мне хотелось бы «мирного» решения проблемы, поэтому и написал топик на хабр — может быть из SUP его кто-нибудь читает и не полениться дать комментарий на эту тему.
Только авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста.