Livejournal

индекс
56,53

SUP, don't be evil!

Некоторое время назад написал очередной велосипед для чтения френдленты ЖЖ в Google Reader и попеарил его на хабре. Сейчас сервисом пользуются порядка 150-200 человек, не много но и не так уж мало — небольшая такая неорганизованная толпа. Поначалу даже один разработчик из SUP поинтересовался, что за баги в ЖЖ я нашел и, более того, некоторые из этих багов были исправлены. И вот 30.09.2009 сервис был временно забанен в первый раз.
А дальше повествование о Sup, Tor, ФСБ и о том, как всем заправляет кровавая ГэБ-ня и аниме.

Как честная кодомартышка я написал вопрос на webmaster@livejournal.com: «А в чём, собственно, дело»? Через пару дней от саппорта пришла рыба с ответом: «Какой у вас User-Agent, внешний IP и читали ли вы bot policy».

Bot policy я, конечно, читал, но когда сервис только разрабатывался, на GAE не было возможности менять User-Agent — привёл я User-Agent в соответствии с policy и продолжил пить чай с плюшками. Но не долго. 2009.10.22 страница 403 Forbidden утверждала, что мой сервис нарушает уже не «Bot Policy», а «Acceptable Usage Policy», который я так и не смог найти, сколько не старался, но с этого момента саппорт на какие-либо вопросы по электронной почте перестал отвечать. После недели молчания support'а я в очередной раз сменил User-Agent и вернулся к чаю и сладостям.

В это время в одной далёкой-далёкой галлактике swined тоже решил заняться велосипедостроительством и сделал некий сервис lj2rss. Сервис, вероятно, был технически несовершенен, генерируя шквал запросов к ЖЖ и тоже вскоре был забанен. По IP-адресу. Не долго думая swined стал использовать сеть Tor, ну а ЖЖ тоже не лыком шиты — забанили все exit-ноды tor, что привело к бурлению говн в духе: «А-а-а-а!!! ФСБ и кровавая ГэБ-ня нажали на кастрюлю с СУПом, который задавил анонимность! А-а-а-а!!! В жежешечку теперь нельзя писать оппозиционерам! Обама должен выкупить ЖЖ из когтистых лап!». Забавно, да?

Так вот. Чтоб хоть как-то обелиться перед жаждущими анонимности пользователями, представитель SUP-а стал утверждать, что это всё злобный lj2rss, который provides a user with an RSS feed of their LJ friends page (normally a paid service). Наши американские коллеги в таких случаях восклицают: «Bullshit!» Почему? Всё просто. Идём читать FAQ ЖЖ №149:
Трансляции ленты друзей: пользователи платных и постоянных аккаунтов могут сделать свой стиль, который функционирует как трансляция в RSS для своих лент друзей. Живой Журнал не предоставляет встроенных трансляций для ленты друзей в RSS.

В переводе: ну да, это такой платный сервис, только мы его не предоставляем, т.е. предоставляем, но не его, а набор из отвёртки, vim, шаблонов на perl, howto на английском и 12-ю версию Lingvo для подстрочного перевода howto всеми желающими. Или всё же Lingvo каждому пользователю надо купить самому — я так и не понял до конца.

Более того, ЖЖ имеет штатный механизм генерации OPML с собственной френдлентой, доступный совершенно всем пользователям — от самых-самых basic до всех остальных.

Но вернёмся к нашим баранам. Получив очередной бан и поняв, что добиться ответа по по e-mail мне не светит я решил написать в сообщество lj_ru_support, оно же ЖЖ русскоговорящей поддержки (осторожно, при заходе по этой ссылке из Google Chrome браузер говорит: «опаньки!»). Попытка вышла довольно успешной — в сий премодерируемый блог моё сообщение не пропустили, но порекомендовали связаться с Ильёй Дроновым, который хоть и записан менеджером всё же не потерял програмистские корни. В первом письме он задал мне несколько технических вопросов относительно сервиса, во втором — 3.12.2009 — написал: «Сорри, у меня очень загруженная неделя. Постараюсь ответить завтра» — и исчез.

10.12.2009, вероятно, что-то случилось, может быть администраторы потеряли конфиги автобанилки, но всё внезапно начало работать.

Прошёл месяц. 10 января уставшие от праздников работники техподдержки ЖЖ разгребали незакрытые тикеты и наши все мои обращения по e-mail, посланные 3½ месяца назад. Ну и ответили на этот поимэйл старой сказкой: «Your RSS proxy is a violation of our Terms of Service because you are reproducing a feature only available to paid account members. For that reason, we will not be removing this ban.» — которая, как я показал выше, к реальности имеет довольно мало отношения.

Вот и подошёл к концу недоумения от ЖЖ псто — 200 юзеров не читают френдленту, нормального RSS френдленты нет и не предвидится, sup не отзывается. Если ЖЖ опять забанит Tor на днях, простите меня, я не специально. :-)
+72
18 января 2010, 16:07
7

комментарии (64)

+6
hanzhinstas #
community.livejournal.com/howto/40882.html — Вот это вполне сносно переводится на русский Google Translate'ом
translate.google.com/translate?js=y&prev=_t&hl=ru&ie=UTF-8&layout=1&eotf=1&u=http://community.livejournal.com/howto/40882.html&sl=en&tl=ru
Я включил себе спонсируемый аккаунт и прекрасно читаю ЖЖ-френдленту в Google Reader.

А закрывают они это действительно потому, что этот сервис (в том числе) приносит им деньги. И их можно понять.
+1
Cy6JIuMamop #
Подзамки можно читать только локальными агрегаторами, в онлайновые они не попадут.
0
hanzhinstas #
Ну да, может быть и так. За то эту лавочку не закроют.
+1
darkk #
Вы читаете френдленту в Google Reader с подзамочными записями на спонсируемом аккаунте без использования ухищрений?

Да, чёрт побери, даже на платном аккаунте, как я понимаю, нет возможности просто зайти на username.livejournal.com/friends, нажать кнопку RSS в адресбаре и радоваться, именно это меня и раздражает.
0
hanzhinstas #
Скажите честно — Вы по ссылкам заходили? Кстати да: данный способ при использовании онлайн-читалок не позволяет читать подзамочные записи. Проверил ещё раз на всякий случай…
0
darkk #
Я подумал, что вы говорите не о способе со стилями, упомянутом по ссылке, а о каком-то другом, ибо именно подзамочные записи и являются основным вопросом. Moreover, прочитать английское HOWTO для меня не проблема, но есть еще 150 пользователей, которых почём зря огорчать я смысла не вижу.

Google Reader опять таки не поддерживает cookies, поэтому для данного случая тоже придётся городить proxy… Менять шило на мыло?..
0
kikaha #
Я начал было кодить проектик — агрегатор лент русских блогеров за рубежом, но даже громко анонсировать ссыкотно — поскольку 90% всех блогов на ЖЖ, в общем, даже не знаю — была мысль использовать curl + список проксей — но таким макаром lj побанят заодно и все открытые прокси…
0
catbegemot #
Забавно — только один знакомый блог углядел.
0
kotofei #
френдленту можно удобно перенести в яндекс.ленту lenta.yandex.ru/
а opml сгенерировать тут www.hungry.com/~fn/foaf.cgi
0
darkk #
OPML можно сгенерить и средствами самого ЖЖ.
Яндекс-лента умеет авторизоваться (то что в генераторе называется «auth links»)?
+9
defeed #
Чёто вы столько воды написали. Суп даёт возможность RSS за деньги или на спонсируемый аккаунт, вы пытаетесь это давать бесплатно. Им это не нравится, они вас зарубают, что, в принципе, логично.
+1
dmitriid #
мнээ… rss каждого отдельного человека в ЖЖ бесплатен. nickname.livejournal.com/data/rss

Человек, судя по всему, сделал аггрегатор этого дела. И? :)
0
defeed #
> И?
И изобрёл френдленту, к которой прикрутил рсс. Дальше читаем мой коммент выше начиная со второго предложения.
+3
darkk #
Не верно. Френдленту делает google reader, сложив все фиды в одну папку.
0
dmitriid #
Чем это отличается от любого другого rss-аггрегатора? Ну, за исключением того, что тут фид аггрегируется в другой фид
0
Dr_Zoidberg #
У меня нет аккаунта в ЖЖ, он мне нафиг не нужен, а вот RSS читать хочу.
0
defeed #
хотите дальше, мне-то что
сделайте в гугл-ридере папку и туда закиньте всех интересующих жж-юзеров, делов-то
0
david_mz #
Суп (ЖЖ) НЕ ДАЁТ такой возможности? о чём прямо написано в FAQ-е: www.livejournal.com/support/faqbrowse.bml?faqid=149

«Живой Журнал не предоставляет встроенных трансляций для ленты друзей в RSS»
0
darkk #
RSS френдленты с подзамками, а не каждого френда в отдельности, и без заморочек с авторизацией?
–4
defeed #
я не в курсе, как именно они дают рсс френдленты, факт в том, что вы «отбираете у них хлеб»
0
darkk #
Увы, факт в том, что это ложь, я просто пеку совершенно другой хлеб — сдобу, вместо бородинкого, если возращаться к ватрушечным аналогиям. Я буду рад, если кто-то покажет мне, что я ошибаюсь.

Да, есть RSS френдленты без подзамков, да есть возможность читать этот RSS с подзамками, если аггрегатор умеет авторизацию, забирая кукисы от браузера, но кукисы онлайн-аггрегатор не будет уметь никогда.
+2
darkk #
Нет, именно я решаю другую проблему — отсутствие в google reader поддержки авторизации.

То, что десяток фидов будет в читалке выглядеть одной лентой ко мне никакого отношения не имеет. Логичее было бы забанить Google Reader следуя таким размышлениям, но вот беда — гугль «большой», а я «маленький» :-)
0
swined #
1. суп не дает такой возможности, о чем ясно написано
2. то, что дает суп без геморроя не подключишь, а когда подключишь оказывается, что это совсем не то — оно не подключаемо к гуглоридеру и большинству других читалок

лично я начал писать lj2rss только потому, что других способов читать френдленту с подзамками в гуглоридере не существует. мне не сложно заплатить 3 бакса в месяц за возможность это делать. но платить некому — в жж нет такой фичи впринципе.
0
LbICbIY #
Почему же тогда владельцы платных аккаунтов не могут читать подзамочные записи в гугл ридере?
0
defeed #
Понятия не имею, задайте этот вопрос в техподдержку ЖЖ.
НЛО прилетело и опубликовало эту надпись здесь
0
darkk #
Ну мне Илья обещал ответить, а не ответил, я вот обиделся и решил поныть на хабре жалостливым тоном :-)
+14
WarGot #
Это конечно всё ужасно. Но где про аниме?
+1
xen #
Зато про человекоподобных роботов.
+2
darkk #
Ну… гэбня. Простите. Шутки — не мой конёк.
+2
lol2Fast4U #
>при заходе по этой ссылке из Google Chrome браузер говорит: «опаньки!»
не говорит.
+1
darkk #
У меня рождественский nightly build — он может.
–1
mrTuborg #
Вопрос в rss для ленты друзей? Или я в танке? Я давно накрутил свой гугло-ридер на френдленту. Что я делаю не так? Аккаунт бесплатный. Палюсь?
+2
PiaFraus #
Подзамочные записи тоже агрегируются?
+9
Gavnuke #
Начало заинтересовывает но дальше лажа =)
Извините =)
+1
darkk #
Я специально картинку не стал вставлять, чтоб слишком сильно людей не разочаровывать :-)

Хотя факт, что бан тора был вызван якобы кознями ФСБ меня повеселил изрядно.
0
x_spam #
есть одно решение, которое возможно вам подойдет:
нужно переписать сервис так чтоб часть отвечающая за сбор данных выполнялась на стороне клиента, тогда их не смогут забанить, а если они с вашего сайта получают готовую рсс то этот вариант не пойдет.
0
darkk #
Сбора данных я не осуществляю, аггрегацию выполняет аггрегатор (простите), т.е. google reader, яндекс.лента и т.п.

Мой сервис делает ровно одно — позволяет читать подзамочные записи в онлайн-аггрегаторе, который не умеет HTTP-аутентификацию.
0
swined #
это убьет сервис. большинство людей поленится, либо не сможет себе что-нибудь поставить. да и возникнут сложности с использованием этого на разных компах — публично доступные сервера с хорошим каналом, на которые это можно было бы поставить, доступны далеко не всем.
+1
falone #
А я вот сервисом пользовался со времени его анонса на хабре. Сейчас он вроде работает, но записей получает очень мало. Временно добавил в ридер лж2рсс
0
darkk #
Вам кажется :-)
Дело в том, что те друзья, кто не взаимные, в результирующий OPML добавлялись в обход rss-proxy прямыми ссылками на livejournal, ибо подзамки не-друзей не увидеть. Вероятно, они и создают видимость работы.
+1
pepelsbey #
Ильюха Дронов внятный человек, программерский навыки имеет, но страшно занят и действительно часто пропадает :) Всё правильно.

С проблемой чтения френдленты через Google Reader (и многими другими) я разобрался просто — сказал «досвидания» жежешечке.
+1
swined #
после того, как забанили lj2rss он пропал на 2 месяца и не появляется до сих пор. это правильно?

про сказать «до свидания» жежешечке — я это сделал пару лет назад и вполне этим доволен. но есть проблема — много моих друзей все еще там и мне хочется их читать и дать возможность им читать меня. не все знают про рсс, гуглоридер и другие способы читать нормальные блоги нормальными способами.
0
darkk #
Хе, спасибо, если это вы ему мой пламенный привет передали :-)
0
pepelsbey #
К сожалению это был не я.
Мне самому его не всегда найти получается )
–3
lasc #
Нужно выложить скрипт, работающий на хостинге с php, каждый себе поставит да и все
0
lamo4ok #
Блокируют и правильно делают — какой им прок от читателей, которые не видят их рекламы, не оплачиваются спонсорами и не покупают аккаунты? Мне бы тоже хотелось читать подзамки из гугла, но тем не менее, если сервисы, подобные обсуждаемому, наберут популярность — это будет вполне ощутимый удар по кошельку владельцев.
0
swined #
а еще им никакого прока от внешних блогв, на которые пользователи дают ссылки. их тоже можно запретить. ссылки, конечне, а не блоги. а то мало ли, поубегают еще в более приличные места и ничего платить не будут и рекламу не увидят.
0
lamo4ok #
Не надо передергивать.
0
swined #
не надо противоречить своим же собственным правилам.
0
darkk #
Ну тогда почему бы не запретить просто чтение подзамков каждого отдельно взятого френда через RSS оффлайновыми аггрегаторами?

Всё, что делает мой сервис — добавляет возможность авторизации, которую имеют оффлайновые аггрегаторы, онлайновым, более ничего сущестенного он не делает. :-)
0
lamo4ok #
>Ну тогда почему бы не запретить просто чтение подзамков каждого отдельно взятого френда через RSS оффлайновыми агрегаторами?

Ну потому что тогда легко напишется утилита которая будет дергать посты через http, а это как раз уже будет epic fail (то есть лишняя затрата сил на ничего не дающее в итоге действие — способ обойти с локальной машины этот запрет всегда найдется). Зачем подталкивать программистов к тому чтобы ты с их помощью потерял еще больше денег? Плюс в данный момент те, кто пользуется оффлайновыми агрегаторами скорее всего не составляют особо большой группы пользователей, в то время как количество пользователей greader'а и подобных ему сервисов безусловно растет (Я сам перебежал на него с год назад).

>Всё, что делает мой сервис

Как я и написал выше — оффлайновые агрегаторы всего лишь неизбежное зло. Глупо было бы полагать что их использование нравится SUP'у, а так же то что им понравится очередная самаритянская фича для отвода денег от их кошелька.
0
darkk #
Я не спорю, что сервис потенциально уменьшает количество показов рекламы, но тогда логичнее забанить Google Reader и зарезать возможность отдавать каждый блог в отдельности RSS-потоком вообще :-)

Ну или отдавать через RSS посты вместе с рекламой, например. Некоторые сайты, кстати, так и делают.
0
lamo4ok #
Зарезать greader — это все-таки слишком неадекватно, согласитесь :) А так же вызовет нехилый резонанс, и неизвестно еще что будет лучше. Они особо не жадные и, насколько я понимаю, адекватно воспринимают такой отбор трафика, тем более что и он вряд ли является слишком большим процентом от общего числа пользователей. Про отдавать посты вместе с рекламой — это удел standalone блогов, который напоминает попрошайничество. Их хозяевам просто в голову не приходит что блоггинг — это не та сфера в которой стоит зарабатывать в интернете, если они хотят быть уважаемыми авторами, к которым не грех и на страницу зайти чтобы комментарий оставить, а не банальным источником информации.
0
darkk #
Вообще, нет, не соглашусь. С точки зрения формальной логики — зарезаль greader это более адекватно цели максимизации прибыли от рекламы в краткосрочной перспективе, если не учитвывать побочные эффекты. Но фраза в заголовке «don't be evil» на то и намекает. Да и я выше говорил, что гугль «большой», а я «маленький».

Пойти что ли поспрашивать знакомых в google да попробовать связаться с командой google reader для того, чтоб заняться реализацией поддержки digest-аутентификации в рамках GSoC-2010 :-)
0
lamo4ok #
>зарезаль greader это более адекватно

Не соглашусь, это скорее вызовет отток пользователей, посещающих сам сайт lj, чем наоборот. Именно прямым эффектом, не касаясь побочных.

>попробовать связаться с командой google reader

Что мне подсказывает что рано или поздно эта фича у них обязательно появится, если SUP им еще не приплачивает за обратное :) Но это правильный, крайне правильный комментарий с вашей стороны.
0
swined #
не думаю, что эту фичу впринципе там будут делать. для ридера она очень невыгодна — вместо малого количества фидов с большим количеством читателей там будет туча приватных фидов с одним читателем. и каждый надо обновлять, что сильно увеличит нагрузуку без видимого профита.
0
darkk #
Это довольно очевидно.
На самом деле это была несмешная шутка — в рамках GSoC никто над внутренними проектами google работать не даёт.
0
swined #
> отбор трафика, тем более что и он вряд ли является слишком большим процентом от общего числа пользователей

до бана в lj2rss было несколько тысяч уникальных пользователей. даже по сравнению с количеством использующих ридер для чтения публичных жж-фидов это примерно ноль, не говоря уже об общем числе пользователей жж. какая может речь идти о недополученных деньгах? жж не потеряет ничего, даже если начнет доплачивать за это.
0
eatart #
платные фичи в жж вообще вызывают недоумение. вроде и платить не за что, везде такое бесплатно, а нет же, не работает просто так!
+1
LbICbIY #
darkk, ты за правое делом, продолжай бороться!
+1
darkk #
С кем? :-D
+1
LbICbIY #
С гэбнёй, с кем же ещё :)

Сервис у тебя был очень удобный, пользовался им активно.

Как понимаю, можно поставить код на разные сервера и они устанут его блокировать?
+1
darkk #
Не устанут. Во-первых, там есть некоторая автоматика, как мне показалось, которая занимается этим, во-вторых, всё же мне хотелось бы «мирного» решения проблемы, поэтому и написал топик на хабр — может быть из SUP его кто-нибудь читает и не полениться дать комментарий на эту тему.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.