Пользователь
192,0
рейтинг
8 января 2015 в 21:51

Разработка → imarker — коммерческая СОРМ-like веб-аналитика уже у вашего провайдера

Используете провайдера Акадо, ТТК, Ростелеком, Эр-Телеком, NetByNet или qwerty? Имеете веб-сайт, и видели запросы с IP 92.242.35.54 и User-Agent WebIndex? Возможно, вам будет интересно узнать больше о вашем провайдере и о компании imarker.

О чем речь-то?

Вышеперечисленные провайдеры подключены к сервису «таргетированной рекламы» imarker, которому они зеркалируют исходящий от пользователя трафик. Зеркалируют не только саму ссылку, но и, как минимум, все заголовки до удаленного HTTP-сервера. Как они сами заявляют, у них обрабатывается 38 млн. абонентов ISP.

image

Как только они получают трафик от пользователя, они переходят по ссылке, по которой только что перешел пользователь, и, вероятно, анализируют данные со страницы. Переход происходит буквально моментально (как правило, до 0.5 секунды), информация кешируется примерно на сутки.

Вот, что они сами пишут (из Privacy Policy):
1. Информация, предоставленная вами imarker
Вы не обязаны предоставлять какую-либо персональную информацию imarker. Imarker не несет ответственности за незаконное использование вашей личной информации другими лицами.

2. Вы соглашаетесь с тем, что мы можем обрабатывать информацию, полученную во время вашего взаимодействия с веб-сайтами в сети Интернет:
Когда вы заходите на какой-либо веб-сайт в сети Интернет, наши серверы автоматически получают определенную информацию, такую как: посещённые URL-адреса, URL-адреса источников ваших переходов, ваш IP-адрес, тип и язык вашего браузера, дату и время посещения. Эта информация может быть обработана для генерирования «списка интересов» (см. ниже), который может использоваться для демонстрации персонализированного интернет-контента и рекламных объявлений. После обработки первоначальная информация удаляется: imarker не хранит вашу историю посещений.

Д) Использование пользовательской информации

7. Imarker никогда не просматривает списки интересов и другие системные данные, но мы оставляем за собой право сделать это в целях поддержания законных прав и интересов imarker, таких, как выявление, предупреждение и решение вопросов, связанных с мошенничеством или безопасностью, или устранение серьезных системных проблем. В этом случае расследование будет ограничено определенной целью в течение ограниченного времени, вы не будете идентифицированы и любая копия данных будет удалена после завершения расследования.

Е) Защита личной информации несовершеннолетних
Для imarker важно обеспечить защиту личной информации несовершеннолетних. Если вам не исполнилось 18 лет, вы должны получить согласие своих родителей или вашего законного опекуна на использование продуктов и/или услуг imarker.

Следующую информацию они предоставили в личной переписке:
Сервис позволяет определять социальные, демографические и географические характеристики пользователей Интернет и предоставляет возможность рекламодателям использовать эти данные для проведения таргетированных рекламных компаний в интуитивном интерфейсе. [...]
Поведенческий таргетинг:
• реклама с учетом поисковых запросов пользователя во ВСЕХ популярных поисковых системах (кто искал «телевизор»),
• реклама с учетом интересов пользователей, построенных на основании категорий посещаемых сайтов (кто любит «спорт»).
Географический таргетинг:
• показ рекламы пользователям вплоть до улицы и дома (кто «живет на улице Мира»).
Социально демографический таргетинг:
• пол и возраст абонента, социальный статус, дети
Таргетинг по ролевым моделям поведения (в разработке):
• «Родитель», «Руководитель», «Студент», «Домохозяйка», «Предприниматель» и пр.

На основании договоров с операторами, предоставляющими доступ в Интернет, сервис осуществляет анонимный сбор данных о пользователях путем зазеркаливания их трафика (для тех кто не понял — ЗАЗЕРКАЛИВАНИЕ ТРАФИКА! КОПИЯ ТРАФИКА, КАК СОРМ — прим. sporaw). Затем программными средствами (собственная разработка компании) осуществляется анализ данных для определения характеристик пользователя. В дальнейшем при заходе такого пользователя на партнерские площадки сервиса ему будут демонстрироваться те рекламные блоки, которые соответствуют его характеристикам и установкам, которые определил рекламодатель в своей рекламной кампании.

Проект запущен, коммерческие продажи начались с августа 2011 года


Определитель imarker

Я сделал скрипт, который определяет наличие imarker у вашего провайдера:
http://imarker.valdikss.org.ru/
Суть в следующем: при открытии страницы, скрипт генерирует уникальную ссылку и выполняет редирект на нее. Далее, приходит 3 секундное ожидание перехода imarker по этой ссылке. Если переход был произведен, то пользователю выводится информация об этом.

Выводы

Выводы неутешительны. Честно говоря, я даже не предполагал, что можно зайти так далеко. Даже если оставить законодательные вопросы, такая система может здорово помешать, например, в момент запуска скрипта-апдейтера базы до новой версии, или чего-то похожего, который предназначен для запуска в один поток и не ставит никаких ограничителей повторного запуска.
По информации от sporaw, imarker теперь принадлежит зарубежной компании Phorm.
Такие дела.

Продолжение статьи — Статистика использования imarker

Ссылки

Информация из ЖЖ sporaw
Вопрос от 26 ноября на toster, sql.ru, yaplakal и cyberforum
Аддон для Firefox, который детектирует и подавляет Phorm. Работает с imarker, т.к. он тоже часть Phorm.
Статья про Phorm от The-Village

UPD (10.02.2016): Похоже, imarker канул в лету (но сам Phorm живет и процветает), насколько мне известно, провайдеры, у которых он стоял, убрали его. Веб-сайт для проверки сломался, и сейчас его восстанавливать смысла не имеет. Однако, крупные операторы внедряют новые системы, которые обнаружить будет сложнее. Напишу об этом, если узнаю подробности.
Влад @ValdikSS
карма
620,0
рейтинг 192,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (169)

  • +19
    немного разожгу
    Вопрос для пользователей перечисленных провайдеров и для тех, кому скрипт выдал положительный результат: вы помните, что вы где-то соглашались с наличием такой системы? Может, в договоре было что-то подобное, или в личном кабинете что-то подтверждали?
    • +6
      image
    • 0
      нет. пользуюсь интерзетом, купленным недавно домом.ру, с начала 2007 года — практически все устраивает.
      но, кажется, это такой весомый гвоздище…
      • 0
        Правильно ли я понимаю, что скрипт выдал положительный результат? Не могли бы вы позвонить провайдеру и уточнить этот вопрос, желательно записав разговор, пожалуйста?
        • +1
          Да, результат теста положительный.
          Для начала есть такое forum.interzet.ru/index.php?showtopic=98944
          Для разговоров нужен, наверное, чуть более подкованный в сетях и законодательстве человек, чем я, поскольку любой отход в сторону или встречный вопрос меня поставит в тупик.

          По поводу договоров там вообще странная штука. У меня на руках есть только договор от 2007 года. И хорошо если он вообще остался. На сайте новые договоры обновляются периодически и, насколько я помню, отсутствие действий в сторону расторжения договора означает согласие с ним и таким образом договор автоматически продлевается на определенный срок. Но утверждать такую схему не буду, не вникал.

          Так что я вполне допускаю, что в новом договоре, уже от домару, есть пара занятных пунктов. Недавно они принудительно сменили почти всем пользователям тариф — криков много, но по факту ни к чему не привяжешься, так как все по договору и все были оповещены путем размещения новости о смене тарифа на сайте.

          Что-то я уже какое-то сочинение написал…
          • 0
            На сайте новые договоры обновляются периодически и, насколько я помню, отсутствие действий в сторону расторжения договора означает согласие с ним и таким образом договор автоматически продлевается на определенный срок.
            Я вообще, совершенно, абсолютно, никак не разбираюсь в законах, но это, вроде, незаконно.
            • 0
              Я не буду утверждать, что данная схема используется, но у себя в голове, порой мыслящей не совсем так, как надо, я ее представляю именно так. Но по сути да, если перейти в крайности, то так можно туда много чего вписать.

              Просто иначе я бы за 8 лет пользования услугами подписывал еще какие договора, о продолжении пользования услугами и так далее. Да и первоначальный договор также, должен был иметь какой-то срок действия.
          • +2
            > У меня на руках есть только договор от 2007 года. И хорошо если он вообще остался.
            Внимательно прочитайте этот договор и поищите там пункт, имеет ли провайдер право в одностороннем порядке менять договор или нет. Если такого пункта нет, то у вас все еще действуют условия договора от 2007 года и Вы вполне можете этим пользоваться при необходимости.

            Если же пункт об одностороннем изменении с уведомлением через СМИ есть, то тогда у вас действуют договор, который сейчас на сайте, ибо сайты большинства операторов связи зарегистрированы как СМИ.

            Интересно то, что этот пункт стал массово появляться в договорах относительно недавно, всего лет 5 назад.

            P.S. Ах да, и договор на оказание услуг связи по умолчанию бессрочный. Он должен быть либо явно расторгнут по согласию сторон, либо в нем прописаны условия одностороннего расторжения.
            • 0
              Спасибо, буду знать и попробую поискать на днях договор на оказание услуг по предоставлению связи на скорости 64 кбит за 450 рублей)
              • 0
                Условия тарифа и цена скорее всего идут отдельными пунктами и скорее всего прописано, что они могут меняться без изменения договора.

                В 2007 году провайдеры уже знали, что тарифы не вечны, а вот о ситуациях, подобных описанной в статье, еще не думали и по этому не все стелили солому в виде пункта об одностороннем изменении договора.
  • +6
    Интересно, у меня ТТК, но imarker не определяется. Наверное, только на части абонентов применяется, или в интервал не попал.
    • +1
      Я информацию с их сайта брал. Сейчас у меня есть доступ только к каналу через qwerty, вот на нем как раз такое поведение, которое описано в статье.
      • +1
        Провайдер — NetByNet
        «Ваш провайдер не использует imarker»

        Возможно, оно не у всех пользователей.
        • +2
          NBN проект свернул из-за малой рентабельности.
      • 0
        У меня QWERTY, тоже «Ваш провайдер не использует imarker»
    • 0
      Первый раз показало, что пров не использует аймаркер. Обновил страницу — использует. Эр.
      • 0
        Скрипт же ждет второго перехода, если я правильно понял автора. Вы его и делаете.
        • 0
          Нет, скрипт ждет перехода только с адреса imarker. Видимо, трехсекундного таймаута было недостаточно.
          • 0
            А может его по юзерагенту ловить? Вдруг у них несколько подсетей.
            • 0
              У них всегда конкретный IP.
  • +3
    Ещё один аргумент использовать VPN и/или Tor.
    • +2
      Скорее, аргумент на конфиденциальной информации использовать https.
      • +8
        С корневым сертификатом от Ростелеком
  • +8
    На 5 тысяч пользователей за последний месяц у 7 была подобная ситуация, судя по логам.
    hsto.org/files/a59/095/d48/a59095d48439483cb39c88b13d5c72c4.png
    • +1
      А у знакомого — 1605 за месяц
    • +1
      По просьбе хабражителяisonami:
      199к запросов из 92кк за сутки с указанным юзер агентом со странным пиком в районе 5 утра.

      Картинки(600кб)
      image
      image


      ссылкой раз, ссылкой два
      • 0
        Вдогонку, от него же:
        около 0.2%, так что видимо только у части пользователей некоторых провайдеров и только get запросы, что в принципе логично
      • 0
        А что это за админки у вас такие няшные?
        • 0
          nginx+?
        • +4
          Это kibana. Такой няшный реалтаймовый лог-аналайзер.
  • +3
    Ламерство какое-то. Если трафик зеркалируется, зачем ещё раз заходить на ресурс. Тем более, вход без кук может не показывать контент страниц.
    • +5
      «Передаются все http-заголовки».
      Кука — всего-лишь http-заголовок.
      • 0
        А, вот оно в каком смысле. Я думал, в базе imarker сохраняются все заголовки. А то, что они все заголовки повторяют при заходе ботом, было не очевидно. В любом случае, сессия может завершаться при входе с теми же куками, но с другого ip. Поэтому ответ юзеру использовать надёжнее (и скрытнее, что немаловажно).
        • 0
          Не факт, конечно. Но из-за «не факт» ламерством я бы это называть не стал.
          Тут, скорее, подходит слово из 6 букв на букву п.
          • 0
            Сорри, я отредактировал коммент ))
        • 0
          Явно не все заголовки повторяют, тк useragent у бота WebIndex
  • +7
    Кстати, есть ли у провайдеров право передавать трафик третьей стороне, не являющейся силовиками? Если такого права нет, то неужели мы с этим тоже смиримся?
    • +1
      А то что силовикам все передается вас не смущает вообще?
      Силовики то вас будут если что сажать и грузить на бабки.

      Криминальные структуры кстати, всю нужную информацию о вас при желании выкупят у «силовиков», если вы бизнесмен под которого копают, например.

      А эти товарищи всего лишь заботятся о вас.
      Будут вам рекламировать не какую то ненужную хрень, как обычно, а продукты и услуги которые вам реально будет интересны.
      • +1
        Ну вообще-то выкупить гораздо проще данные у таких вот компаний. Сегодня они есть, завтра они банкроты и БД уходят в неизвестном направлении.
        • +1
          Так так и произошло, или что-то похожее: www.facebook.com/adex.provider/posts/630182937077406
          Phorm перекупил imarker, обработанные данные передаются, возможно, на сервер в Лондоне (по крайней мере, portal.imarker.com → Phorm UK Assignment).
        • –3
          Подкупить работника частной конторы проще чем гос служащего?
          Уверены?

          Когда банкрот, то уже и новых актуальных данных там нет.
        • 0
          А с силовиками не так? Сегодня они есть, а завтра они банкроты (дефолт и всё такое) и БД уходят в неизвестном направлении.
  • +10
    Предлагаю улучшить сервис — сделать кнопку «прокачать профиль»
    Запускать во время простоя компа, чтоб он потреблял контент первого канала, российских СМИ, сайтов с котятами и пр., чтобы таим образом в этом имаркере веса смещались в пользу рекламы кошачьего корма, нувыпонели.
  • +3
    Клиент InterZet сообщает, что у него тоже используется эта штука.
    • +1
      «Ваш провайдер использует imarker»
      СПб, InterZet.
    • +4
      «Ваш провайдер не использует imarker»
      СПб, InterZet.
      • 0
        От user-agent зависит, кстати. Точно фильтруются wget, curl и Windows XP.
        • 0
          Изначально проверял из под iceweasel. Однако и с wget получаю, что «используется».
          • 0
            Посмотрел в дампе user-agent'ы в обоих случаях.
            Ничего «необычного», так что может wget и не фильтруется.

            iceweasel: Mozilla/5.0 (X11; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0 Iceweasel/31.2.0
            wget: Wget/1.13.4 (linux-gnu)
            • 0
              wget точно фильтруется, я проверял. Т.е. бот не ходит, если вы запрос wget отправите, я это имел ввиду.
              А так, с моего сервиса вам выводится информация по IP вне зависимости от uid.
              • 0
                А, то есть если один раз с этого IP был заход от imarker'a, то даже если wget'ом спрашивать, то перезахода не будет, а тест напишет, что используется?
                • 0
                  Да, именно так.
            • 0
              Может устаревшая версия установлена у провайдера :-)
        • 0
          Тот же результат на любом браузере (хром, лиса, ие) на 8.1. Тот же результат на iOS (хром, сафари). Через 3G от МТС тоже самое.
  • –9
    Билайн — результат отрицательный. Но шпионаж присутствует 100% (стоит погуглить телевизор — сразу всплывает реклама телевизоров), скорее всего это одна из, но далеко не единственная система. Надо написать скрипт, который будет в фоновом режиме генерировать «мусорные» запросы:)

    P.S. Надо попробовать на досуге… wget со случайным таймаутом должен подойти.
    • +7
      Реклама где всплывает, в гугле?:)
      • –6
        Может в яндексе всплыть, а может и на сайте челябинского краеведческого музея.
        • +21
          Рукалицо… Это стандартный механизм работы рекламы в гугле. И яндексе.
        • –5
  • +2
    Хочется потом статистику, как много провайдеров используют эту штуку.
    По аналогии с habrahabr.ru/post/229377/
    • +4
      Если статистика окажется интересной, то будет.
      • +1
        Уже интересна, априори, ждём))
  • 0
    Ростелеком СПб, «Ваш провайдер не использует imarker»
    • 0
      Клиент Ростелекома в Тверской области сообщил, что у него imarker.
      • +1
        А в Краснодаре чисто у Ростелекома
  • 0
    Москва, ЮВАО, Акадо, «Ваш провайдер не использует imarker»
    • 0
      Начнет после прочтения статьи.
  • 0
    Проверил в трех сетях разных провайдеров (Ростелеком, Билайн, Роснирос) везде «Ваш провайдер не использует imarker»
  • +1
    Только сейчас заметил, что сайт imarker оформлением сильно косит под Верайзоновский "PrecisionID" (который покруче будет, поскольку перемалывает не только кабельный трафик, но и мобильный):



    P.S. ValdikSS, всё ждём руководства по StrongSwan IKEv2 VPN на AWS…
    • +3
      Собственно, весь смысл такой штуковины заключается в навешивании perma-cookie пользователю — чтобы не считать его два раза, когда он зашёл на сайт с планшета через 3G, а продолжил сессию через домашний WiFi. Именно на этом месте вся статистика летит в тартарары :(

      Попытка лет пять назад уговорить коллег по «большой тройке» поставить на свои сети вот эту штуку:



      не пошла (в том месте, куда железку полагается втыкать, уже стоит железяка от ФСБ, для начала — что изрядно осложняет внедрение любых «network-centric» решений...). Впрочем, подмешивать в заголовки HTTP-запроса, например, MSISDN абонента для конкретных IP-адресов операторы умели и сами всегда.

      Что у мобильных операторов с этим сейчас — не в курсе, но в любом случае рекомендовал бы VPN держать включённым вообще всегда.
  • 0
    Эр-Телеком Казань
    imaker не определился
  • 0
    Онлайм (osx+ff), – не использует.
    Йота мобайл (ios)– не использует.
  • 0
    Qwerty, Королев — imarker не используется.
    Ринет, Москва — imarker не используется.
  • 0
    ТТК Северо-запад и Йота – результат отрицательный.
  • 0
    Обит, СПб — не использует
  • 0
    Про 38 миллионов абонентов они наврали скорее всего.
  • 0
    Насколько мне позволяет судить квалификация диванного юриста, если оно действительно СОРМ-like, то оно в любом случае незаконно. Право на нарушение тайны связи, вроде бы, только у КГБ.
    • –2
      В СОРМ-like оборудование передаются обезличенные профили.
      • +3
        «Право каждого на тайну телефонных переговоров по своему конституционно-правовому смыслу предполагает комплекс действий по защите информации, получаемой по каналам телефонной связи, независимо от времени поступления, степени полноты и содержания сведений, фиксируемых на отдельных этапах ее осуществления. В силу этого информацией, составляющей охраняемую Конституцией Российской Федерации и действующими на территории Российской Федерации законами тайну телефонных переговоров, считаются любые сведения, передаваемые, сохраняемые и устанавливаемые с помощью телефонной аппаратуры, включая данные о входящих и исходящих сигналах соединения телефонных аппаратов конкретных пользователей связи...» (Определение КС РФ №345-О от 2 октября 2003 года). А чем интернет-провайдеры отличаются? Их деятельность регулируют те же законы.
      • +4
        Или вот пункт 4 статьи 63 ФЗ «О связи»:

        Сведения о передаваемых по сетям электросвязи и сетям почтовой связи сообщениях, о почтовых отправлениях и почтовых переводах денежных средств, а также сами эти сообщения, почтовые отправления и переводимые денежные средства могут выдаваться только отправителям и получателям или их уполномоченным представителям, если иное не предусмотрено федеральными законами.

        Обезличенные запросы пользователей – это все те же сведения о сообщениях электросвязи.
  • 0
    Немного сбивает с толку термин «трафик зеркалируется». Я уже подумал про весь трафик.
    А тут только заголовки. Так что это ещё не СОРМ.
    Так что, да — злодеи, но ещё не такие зубастые, как я вначале испугался.
    • +2
      у меня на одном из сайтов этот ip появляется как в спиcке тех, что я использовал для входа. т.е. отправил форму с логином и паролем. а это не является заголовком, это вполне себе данные. т.е. по факту с моими данными и паролем кто-то входит в тот же момент, что и я.

      image
      • 0
        но и чтобы не нагнетать всеобщую паранойю, отмечу, что у меня нет данных о том, один ли это был запрос на страницу входа, или дублирование моего запроса к каждой странице. но одна копия точно есть.
        • 0
          как и нет данных о том, что это именно отправка полей формы, а не копия гета с авторизованной кукой. но все равно неприятно
      • 0
        пропавшая картинка из комментария выше

        image
  • 0
    RNet, СПб — «Ваш провайдер не использует imarker».
    Наверное, просто мелкий слишком.
  • –14
    Как разработчику всяких DPI-подобных штук, мне нравится решение iMarker. По фактам, известным о нем даже из публичных анонсов плюс данных о вакансиях, хотелось бы работать в такой штуке ).

    То, что оно вставляет контекстную рекламу — не моя проблема. Веб составляет малую долю трафика, и в основном идет через сторонние сети, не охваченные СНГшной рекламой, ну а иностранные маркеры цепляют мало )
    • –4
      Около двух лет назад, когда внедряли imarker, я тоже восторгался элегантностью их решения. Как показала практика, для достаточно выгодной коммерциализации, чтобы это было совсем интересно внедряющей пилот стороне, элегантности решения мало.

      В середине прошлого года пилот закончился. Непонятно, почему мы до сих пор значимся у imarker на сайте в партнёрах.
    • +4
      контекстная реклама — не моя проблема. Веб составляет малую долю трафика

      Вы зашевелитесь, когда реклама будет инжектиться вам в IRC-чат?
      Или когда при передаче презентации по e-mail или ftp будет вставляться первая страница: «Спонсор показа — Procter & Gamble»?
      Какая разница, внедряют контент в HTML-документ или в Word, или в PowerPoint…
      • +1
        «что выросло, то выросло».

        Допустим, кому-то приятно пользоваться солидными, серьезными продуктами Microsoft, Acronis, Касперского — и работать на них (на эти компании) же, занимаясь разработкой. А мне нравится пилить DPIшки для сетей общего доступа, а стало быть и результаты работы таких систем %).

        Ирц? Рабочий инструмент, поэтому везде предполагается сслтлс с проверенным самоподписанным сертом, а где-то еще и FiSH сверху :)
        email? Старттлс, платный хостер.

        В даркнетах, так и быть, глубокая модификация контента не нужна :) защищены те места и сети, в которых понимается нежелательность подобных решений и есть средства контроля целостности. В вебе, а особо в рунете, этого нет, поэтому на него пофиг.

        • 0
          Всё так, но даркнеты существуют только из-за большой свободы публичных сетей.
          В публичных сетях разрешено всё, что не запрещено. Если публичные сети будут зажимать, например не разрешая SSL-соединения, в которых невозможно осуществить MITM, у даркнетов не будет носителя.
          • 0
            Даркнеты никуда не денутся. Во-первых, для борьбы с ними нужно ввести запреты сразу во всех странах (так-то в Китае вводят, но кому надо, всё равно получают доступ в Tor). Во-вторых, есть стеганография, с помощью которой зашифрованный контент можно незаметно внедрить в текст или в картинку. В сборке Tor Browser уже есть несколько вариантов подключения, использующих стеганографию. А лучше бы это мракобесие поскорее закончилось и началась эпоха повсеместного распространения криптографии.
          • 0
            останутся нишевые решения: распространенность — в пределах города, носитель — bluetooth, FTN/echomail/доски обьявлений.
  • +3
    1) По-моему в комментариях есть смысл отписываться только тем, у кого тест выдал положительный результат.

    2) paranoid mode on.
    А если разработчики irmaker уже добавили исключение на скрипт ValdikSS?
    • +1
      А ведь вы, похоже, правы! imarker что-то перестал ко мне ходить.
      • +1
        Сделал домен еще выше, опять начал ходить.
        • +1
          Там то ли ratelimit какой-то, то ли что, в общем, сделал редирект на один из 8 доменов уровнем ниже.
          • 0
            Сделайте в DNS

            *.m.valdikss.org.ru
            и туда генерите рандомную ссылку
            • +2
              NS-хостер заблокировал wildcard-домены из-за абуз :(
              • 0
                motienko, делегировал NS для imarker.valdikss.org.ru на другой сервер, сделал wildcard, сейчас должно работать надежней.
  • 0
    Yota + Android + Chrome = Не использует
  • +2
    >Е) Защита личной информации несовершеннолетних
    Для imarker важно обеспечить защиту личной информации несовершеннолетних. Если вам не исполнилось 18 лет, вы должны получить согласие своих родителей или вашего законного опекуна на использование продуктов и/или услуг imarker.
    механизм получения данного согласия? учитывая что они _вообще_ не говорят?
  • +1
    Ростелеком (Онлайм) Москва — Ваш провайдер не использует imarker
  • 0
    А что, пока еще никто не додумался как использовать это для ддоса?
    • +1
      А как вы себе это представляете?
  • +4
    Включу-ка я у себя на сайте отброс запроса с User-Agent «WebIndex»…
    • 0
      Интереснее будет включить дополнительно к блокировке шейпер на адреса ботов (например, в nginx) на очень низкую скорость (допустим, 5 байт в секунду).
      В итоге будут висеть установленные соединения до таймаута без реальной нагрузки на сайт, но занимая порты исходящих tcp на сервере у ботов (а их там всего лишь ~30тыс на ip адрес).
      Что-то вроде
      if ($remote_addr = «92.242.35.54») {
      set $limit_rate 5;
      return 504;
      }

      Протестировал у себя, бот обрывает соединение через 40 секунд со своей стороны.
    • 0
      А если ему рекурсивный архив отдавать?
  • +9
    Мне очень интересно, как эти ребята обосновывают законность своих действий. У нас есть конституция, явно гарантирующая тайну связи.
    www.constitution.ru/10003000/10003000-4.htm#23

    По закону «О связи» на провайдеров явно наложена обязанность сохранять тайну связи.
    www.consultant.ru/popular/communication/28_9.html#p1204
    Более того, тот же закон «О связи» явно требует приостанавливать лицензию при нарушении закона.

    И, в довесок, уголовная ответственность всем причастным в нарушении тайны связи
    www.consultant.ru/popular/ukrf/10_27.html#p1966

    По результатам, кого это задело, нужно писать в роскомнадзор с требованием приостановить лицензию, параллельно получать документальное подтверждение передачи трафика третим лицам и на основе него инициировать возбуждение уголовного дела. Поступать мягче с теми, кто настолько жёстко игнорирует российские законы — нельзя.
    • 0
      Смешная ситуация может выйти — приостановление лицензии единственному провайдеру, кто дотянулся проводами до твоего дома))
      Ну или 2 из 2 или 3 из 3 и т.д. — судя по тому, что таких провайдеров уже как минимум несколько.
      • +1
        Свято место пусто не бывает. Придёт другой, благо клиенты — вот они, сами в очередь выстроились, чтобы деньги отдать, даже уговаривать не надо.
        • 0
          Есть места, куда по разным причинам или сложно войти или неудобные для развития бизнеса или первоначальным затратам (например, военные городки или сёла).
          У меня лет 8 (минимум, с момента моего заселения) был в доме только 1 провайдер, вот только в прошлом году пришел второй, хотя не совсем и на отшибе живу))
          • 0
            То есть инфраструктура уже есть, кабельканалы проложены, планы, сметы, подрядчики, шкафы какие-то где-то привинчены, дырки насверлены. По протоптанной дороге в эти сложные и неудобные места ходить намного удобнее будет. В случае действительного лишения лицензии вообще навсегда и хоть ты плачь, всё это будет выгоднее продать кому-то с лицензией, чем раскурочивать и отвинчивать из вредности. К тому же я уверен, отбирать лицензию не будут. Максимум — приостановят и надают по рукам, чтобы в следующий раз аккуратнее были и не палились. Одним словом, не надо бояться :)
            • 0
              Да не в боязни дело, просто смоделировал смешную ситуацию) Естественно — глупо ожидать отъем лицензии у какого-то условного «ростелека».
              Но если вернуться к гипотетической ситуации — для прихода нового провайдера всё равно понадобится время. Хотя в нашу эру мобильного интернета (особенно если в зоне LTE) это ожидание будет всё же скрашено))
  • 0
    www.dephormation.org.uk/?page=2 — аддон для Firefox, который детектирует и подавляет Phorm. С imarker, т.к. он тоже часть Phorm, тоже работает.
    • 0
      www.facebook.com/adex.provider/posts/630182937077406
      Проект ADEx закрыт по настоянию Phorm, возможно будущего мажоритарного акционера компании, который вошел в проект в результате враждебного поглащения imarker.ru — таргетирование рекламы до дома, до Like-a
  • 0
    Тушино Телеком Мск — не использует (алсо — ссылка под сафари на маке не работает, не удается найти ресурс)
  • +1
    Интересно, провайдеры которые пользуются этой хренью — уменьшили тарифы? Вроде логично — начинаешь продавать рекламу — уменьшай стоимость, или делай продукт бесплатным.
    • 0
      у Интерзет тариф вырос с декабря 2014.
      • 0
        Там повышение на 30 рублей с последующим повышением скоростей (+10 мбит за 30 рублей по сути), так что в этом плане у них все более или менее было нормально. Но сделан переход на новые тарифы очень криво. Тем, кто уперся в цифру 450 рублей да, снизили скорость на 5 мбит, «подняв тариф»
  • 0
    «Ваш провайдер не использует imarker»
    Подольск, «Кварц»
  • +1
    Выборка: Омск (Эр-Телеком, ОмКС, Билайн, ТТК-ЗС, Ростелеком).

    1.5млн записей логов, из них 1.4М — GET запросы
    70к — запросы от абонентов Эр-Телеком/домру
    450 запросов с 92.242.35.54, каждый из них имеет идентичный предыдущий запрос по тому же url. Все source ip оригинальных (первых, до этого бота) запросов принадлежат Эр-Телекому, интервал между оригинальным запросом и запросом от бота от 2 до 4 секунд.
    Ресурс требует аутенфикации (авторизация по кукам, помнится ip) и все запросы от 92.242.35.54 не прошли авторизацию (ну кроме login page). К сожалению, уже нет возможности определить приходили ли с ними cookies.
    • 0
      .
  • 0
    Мне кажется, старая идея про некий хабра-vpn (VPN для хабра-жителей) уже перестает быть опциональной. Пока, конечно, этот vpn будет «чист и не замешан».
    • 0
      Хабражитель не может поднять свой собственный VPN?
      Какой толк от ВПН если он будет терминироваться в Cjsc Caravan-telecom, Moscow, Russia?
  • 0
    Скайнет, Спб — Ваш провайдер не использует imarker
  • 0
    Сколько в среднем провайдеры имеют в месяц с абонента, сливая его трафик?
    Просто репутационные издержки такой схемы слишком велики, да и не исключено судебное преследование.
  • 0
    Эр-Телеком (Дом.ру), при заходе на сайт пишет, что не используется. Но я точно знаю что используется.
    Некоторое время назад отлаживал скрипты на сервере и по логам видел посещение бота с UA WebIndex через 1-2 секунды после моего захода. 2 раза на одну и туже страницу он не заходил, переходил только на новые страницы.
    Тогда же я закрыл для этого бота доступ.

    Еще дом.ру, иногда, подсовывает свою рекламу. Например, заходишь на хабр, а вместо хабра страницы с рекламой супер-мега-нового-пакета-только-для-вас. И кнопки «Подключить» и «продолжить».
    • +1
      Да, последнее неприятно. Набираешь адрес яндекса, а вместо него открывается страница «Подключите цифровое телевидение 100500 каналов». Ну и плюс обзвон каждый месяц с предложением этого телевидения, хотя я им устал уже повторять, что ТВ меня не интересует ни в каком виде.
      • +2
        Самое неприятно было, когда в декабре, нажав кнопку подтверждения платежа в интернет-магазине я… попал на страницу с рекламой то ли кошмарского, то ли дорогого тарифа и там не было ни кнопки продолжить, ни закрыть. Желание взять «валенок для чистки лица» и сходить с ним… хотя не к кому, это не местные делают. Но очередную жалобу я отправил.
        Платёж пришлось разруливать с саппортом магазина, к их чести это решилось буквально за 20-30 минут (в отличие от звонка в саппорт, где вначале я полчаса общался с мальчиком из первой линии, который в конце концов перевёл меня на вторую линию, где я ещё полчаса объяснял, что реклама рекламой, но держите её у себя на сайте, в личном кабинете или отправляйте мне на мыло, я его указал и для этого в том числе).
      • +3
        Уму непостижимо. И это у вас нормальным считается? Если бы мой провайдер такое творил, я бы бежал от него со всех ног.

        Другие провайдеры такое же творят?
        • 0
          Что делать, если в маркетинге сидит один идиот.
          Зато ДОМ.ру даёт
          1) неплохие тарифы
          2) хорошие скорости (не шейпит торренты и т.п.)
          3) стабильный коннект, даунтайма было несколько часов в год
          4) белый IPv4, PPPoE без всяких VPN-ов как любит например beeline
          5) белый IPv6 (!)
          Такого ещё поискать.
          • +1
            Да любой нормальный провайдер это дает.
            У меня например даунтайма не было уже года 3.
            • 0
              Значит, это «нормальный» провайдер, но он единственный в Саратове, у которого все эти плюшки (существенные для меня) есть в сумме. У остальных то одно хуже, то другое.

              Вылезет рекламная страница раз в 2 месяца, обматерюсь и дальше буду работать.
              • 0
                Хотите поспорить о провайдерах Саратова? Их есть у меня в количестве четырех.
                • 0
                  Интересно, кого посоветуете?
                  • +2
                    Как физик пользовался услугами следующих провайдеров:

                    ВолгаТелеком (ADSL) — пользоваться можно, если максимально устранить все скрутки на своём кабеле, затем выйти на инженеров и подобрать оптимальный профайл для своей пары (а не стандарты вроде 6000\600, 18000\1200, 24000\2500). У меня было 7000\3000 с пингом 14.
                    В многоэтажках уже история, в частном же секторе суровая, и часто безальтернативная, реальность.

                    Билайн (КорбинаТелеком) — средние по стоимости тарифы, хорошее ТВ, вменяемый саппорт второй линии. Пинг в Москву около 30 (что днем что вечером). p2p не режется. Звонят крайне редко, лично я помню только один звонок с предложением доп. услуг. Дорогие статические адреса.

                    Ростелеком (Волгателеком) — средние по стоимости тарифы, крайне проблемный саппорт (в течение ГОДА меня то и дело отключает их свич, причина — якобы петля. Починить не могут, проблему не признают.), p2p не режут, звонят раз-другой если не оплатил услуги. Долго и муторно ругался по поводу рекламных СМС рассылок в духе «а приходите к нам работать — у нас новая вакансия !»

                    ТТК — простые и понятные тарифы (никаких **** вообще), самый низкий пинг из опробованных (в Москву около 20). Не режут, не звонят, моментально реагируют на заявки через ЛК. Кстати, ЛК — верх минимализма. Не начисляют дополнительную абонентку\пени если не оплатил услуги. Дешевая статика.

                    Р-Телеком (Домру) — дорого. Начальный тариф 30 Мбит за 575 рублей (!!!). Ощутимо повышается пинг в вечернее время. Средненький саппорт — ругаться с ними по поводу скорости на тарифе можно бесконечно. Крайне навязчивый отдел продаж, постоянно звонят по поводу «а не хотите ли ТВ? как не смотрите ???», через 15 дней после неоплаты стабильный звонок «а чего это вы не оплатили интернеты ?». Киллер фича — возможность прописать обратку на статике. Постоянный глюк в ЛК — подсказка по оплате работает неверно при наличие услуг > 1. СМС оповещения приходят с рандомных номеров. Берут деньги за блокировку договора.

                    Как юрик имел дело с:

                    ВолгаТелеком (ADSL) — все то же самое, только на инженеров попасть сильно легче.

                    ТТК — быстрая реакция на заявки, четкое соблюдение скорости по тарифу. Всегда минимум за неделю предупреждают о техработах всеми доступными способами.

                    РенетКом — реагируют быстро, но часто не доделывают или «косячат» в духе «ой, мы тут оборудование меняли и забыли прописать ваш vlan».

                    Р-Телеком (Домру) — постоянно провалы по скорости, одна и та же мантра «откройте браузер наберите s-p-e-e-d-t-e-s-t» вместо нормального iperf (а ведь у них есть свои публичные сервера iperf'а !). Фиговая скорость да же внутри своей сети (с трудом получить положенные 10 Мбит из Саратова в Самару… такого я не ожидал). С другой стороны — по первому требованию шлют свои ребят хоть к черту на куличики…

                    Для себя выбрал Билайн и ТТК. Ростелеком и Домру отдыхают в финансовой блокировке.
                    • +1
                      Спасибо, хороший обзор. Но технические детали опущены (наличие IPv6 сейчас, а не в обещаниях, и технологии подключения для физиков).

                      Р-Телеком (Домру) — дорого. Начальный тариф 30 Мбит за 575 рублей (!!!).

                      Тарифы действительно не очень, зато маркетинговой лапши навешивают прилично
                      saratov.domru.ru/internet/mono-special
                      • +3
                        Билайн — DHCP+L2TP, серый + белый адрес, побочная фича — внутренней сеткой можно пользоваться при неоплаченном инете.
                        РосТелеком — PPPoE, белый адрес
                        ТТК — PPPoE, белый адрес
                        ДомРу — PPPoE, белый адрес

                        По стабильности коннекта я бы никого особо не выделял, разве что РосТелеком рвется чуть-чаще остальных — 300 часов аптайма давно привычная цифра.

                        Пардон муа, а как вы ipv6 на ДомРу получаете? Мне на интерфейс не прилетало.

                        Оффтоп: технически pppoe это то же vpn, только с другой инкапсуляцией. Жду когда Билайн развернет IPoE и запишусь к ним в тестеры, обещают первую половину текущего года.
                        • +1
                          Оффтоп: технически pppoe это то же vpn, только с другой инкапсуляцией

                          MTU меньше?
                          Пардон муа, а как вы ipv6 на ДомРу получаете? Мне на интерфейс не прилетало.

                          надо галочку поставить в кабинете lk.domru.ru/settings/ipv6
                          • 0
                            В L2TP и PPTP — PPP инкапсулируется в IP, в PPPoE — в Ethernet.
                            ru.wikipedia.org/wiki/VPN

                            За наводку на галочку спасибо, нужно будет как-нибудь попробовать.
                            • 0
                              Я слышал мнение, что в VPN MTU меньше, чем в PPPoE.
                              Важно для некоторых игр. Например, игра на движке quake 1,2,3 не подключится к серверу если MTU ниже 1400


                              Т.е. если поднимать вложенные туннели, каждый будет откушивать от MTU и провайдер с изначально большим MTU выгоднее.
                              • 0
                                PPPoE-инкапсуляция накладывает всего 8 байт оверхеда, т.е. для Ethernet с 1500 MTU у вас будет 1492.
                                • 0
                                  А VPN?
                                  • 0
                                    Зависит от протокола и настроек, но меньше 1400 почти ни одно решение не опускается.
          • 0
            А IPv6 бывает «серый»?
            • 0
              Вообще, бывает, но провайдеры такой выдавать не могут.
            • 0
              Под серым я подразумевал не то, что выделяется провайдерам, а зарезервированные диапазоны — teredo и прочие туннели.
              • +1
                есть диапазоны, которые не маршрутизируются в интернет, но это не teredo и «туннели».

                teredo, пожалуй, не «туннель», а аналог 6to4 для nat.
                трафик идет «напрямую» между адресами ip4 внутри udp пакетов.
                сравните, у «туннеля» идет сначала к провайдеру, а потом уже к другому юзеру.
  • 0
    Москва, 2КОМ — вроде как не используется. Но вообще это жесть конечно…
  • 0
    Самара, ЭР-Телеком — результат отрицательный. Хотя по моим данным должен быть положительный…
  • +1
    Забавно наблюдать логи. Бот что-то тыркает на странице, а imarker-бот тыркает за ним.
  • 0
    Статья 273 УК РФ
    1. Создание, распространение или использование компьютерных программ либо иной компьютерной информации, заведомо предназначенных для несанкционированного уничтожения, блокирования, модификации, копирования компьютерной информации или нейтрализации средств защиты компьютерной информации, — наказываются ограничением свободы на срок до четырех лет, либо принудительными работами на срок до четырех лет, либо лишением свободы на тот же срок со штрафом в размере до двухсот тысяч рублей или в размере заработной платы или иного дохода осужденного за период до восемнадцати месяцев.

    В п.2 говорится об отягощении вины, если деяние произвела группа людей.
    По существу, «отзеркаливание» трафика — это копирование информации. Вопрос в том, кто это санкционировал.
    • 0
      можно спросить подробнее у юристов, но, мне кажется, статью эту притянуть не получится.
      наверняка у imaker хороший юридический отдел и они уже нашли лазейку.
      • 0
        Статья-то как раз подходит, дело в другом. С точки зрения прибыли, imaker — чистое добро. Ну а консолидированного противоположного мнения на сцене не присутствует. Так что сидят их юристы без дела…
        • 0
          Нет, не подходит: несанкционированно в конкретном случае != заведомо несанкционированно по предназначению (т. е. несанкционированно в общем случае).
          • 0
            Однако, факт санкционирования данных средств «по предназначению» тоже нигде не отмечен. И вряд ли может быть отмечен «по умолчанию», ибо это нарушает принцип неприкосновенности частной жизни.
            Так или иначе, спорить не буду, потому что не юрист.
            Касательно неприкосновенности, кстати, похоже даже больше подходит:
            Статья 137 (УК РФ). Нарушение неприкосновенности частной жизни.
            Незаконное собирание или распространение сведений о частной жизни лица, составляющих его личную или семейную тайну, без его согласия либо распространение этих сведений в публичном выступлении, публично демонстрирующемся произведении или средствах массовой информации.
            • 0
              Однако, факт санкционирования данных средств «по предназначению» тоже нигде не отмечен


              Презумпция невиновности. И сам режим эксплуатации обсуждаемых средств подсказывает мне, что в крайнем случае речь может идти не об отсутствии санкции на действия программы с информацией в общем случае согласно замыслу автора программы, а об отсутствии санкции (права, если точнее) на действия человека с информацией посредством программы, что есть свойство отношений между пользователем программы и обладателем информации, а это больше тянет на статью 272 УК РФ.

              Статья 137 (УК РФ). Нарушение неприкосновенности частной жизни.


              Конституция и УК РФ разделяют охрану неприкосновенности частной жизни лица и охрану тайны связи (указанные понятия закрепляют разные нормы Конституции, разные статьи УК РФ устанавливают ответственность за соответствующие нарушения). Поэтому здесь только статья 138 УК РФ («Нарушение тайны переписки, телефонных переговоров, почтовых, телеграфных или иных сообщений»), ответственность по статье 137 УК РФ исключается статьей 17 УК РФ: «Если преступление предусмотрено общей и специальной нормами, совокупность преступлений отсутствует и уголовная ответственность наступает по специальной норме» (хоть нарушение неприкосновенности частной жизни есть, оно уже целиком охватывается другой, более частной нормой).
  • 0
    А как насчет того, чтобы залогировать IP всяк вторым входящих, и опубликовать их, чтобы все желающие вебмастеры могли их зароскомнадзорить?
    • 0
      Он всегда один и тот же — 92.242.35.54
      • 0
        Тогда предлагаю дополнить статью воззванием выполнить iptables -A INPUT -s 92.242.35.54 -j DROP на всех доступных серверах :) Хотя, конечно, сменить этот IP — куда проще, чем разбомбить Воронеж.
  • +1
    Так, ребят, а я правильно понимаю, если эта компания зарубежная, то идёт вразрез ещё и с нашим недавнопринятым законодательством, что, типа, следить только наши спецслужбы могут, а эти данные вообще утекают за рубеж?
    Я тут не оправдываю слежку русскими конторами, а пытаюсь понять по букве закона, есть ли нарушение закона о хранении и обработке персональных данных.

    Поправьте, если не так.
  • 0
    На сайте страничке, фактически без посещений, ибо домашняя в логах запросы из:

    188.232.158.*** — - [25/Dec/2014:21:50:23 +0300] «GET / HTTP/1.1» 200 5607
    92.242.35.54 — - [25/Dec/2014:21:50:23 +0300] «GET / HTTP/1.1» 200 5607
    92.242.35.54 — - [25/Dec/2014:21:50:23 +0300] «GET /robots.txt HTTP/1.1» 200 875

    inetnum: 188.232.152.0 — 188.232.159.255
    netname: ERTH-OMSK-PPPOE-14-NET
    descr: CJSC «ER-Telecom Holding» Omsk branch
    descr: Omsk, Russia
    descr: PPPoE Individual customers

    91.144.177.*** — - [05/Jan/2015:13:33:50 +0300] «GET / HTTP/1.1» 200 5607
    92.242.35.54 — - [05/Jan/2015:13:33:50 +0300] «GET / HTTP/1.1» 200 5607
    92.242.35.54 — - [05/Jan/2015:13:33:50 +0300] «GET /robots.txt HTTP/1.1» 200 875

    inetnum: 91.144.176.0 — 91.144.179.255
    netname: ERTH-PENZA2-NET
    descr: CJSC «Company „ER-Telecom“
    descr: Penza, Russia
    descr: PPPoE Customers with public IP

    У меня самого Онлайм, Москва, Зеленоград, тест говорит, что не использует.
  • 0
    В 2010 году работал в одно большой компании предоставляющей интернет в 37 городах России (в данный момент куплен МТС). Мы общались с подобными ребятами, но в тот момент не стали с ними сотрудничать. Ставится сервер — стойка серверов, на который зеркалируется весь трафик пользователей. Им не нужно было заходить на страницу после, они и так всё знали о пользователе из зеркала его трафика. Имея так же улицы присутствия провайдера реклама могла быть адресна вплоть до дома абонемента. Эту самую рекламу они могли вставлять вместо рекламы Googlе и Яндекс незаметным для пользователя образом (т.е. пользователь не знал что за ним следят так ещё и часть его контента на странице меняют). В общем тогда мы не стали с ними сотрудничать.

    В 2011 у меня бы опыт общения с другими товарищами которые по подобной схеме для больших корпораций делают сканеры безопасности. Когда например кто-то решает послать корпоративные данные на «лево» не по корпоративной почте — из письма вырезалась служебная информация (на основании отпечатка из других корпоративных документов из базы корпоративных документов компании), а на пользователя приходил весь лог его страниц службе безопасности — куда ходил и что смотрел.

    Суть в чём — название фирм я слышал в первый и последний раз (так же как никто не знает изготовителя кожи для Rolls-Royce), но технологии реальны и так как они построены на зеркалировании трафика — вычислить о слежении в половине случаев не возможно. Правда это всё для HTTP, но много ли сайтов работающих по HTTPS с шифрованием трафика?
    • –1
      Сайтов с HTTPS не так мало. «Вычислить» слежение не всегда возможно, но можно его сильно затрудить, используя Tor и VPN.

      Когда например кто-то решает послать корпоративные данные на «лево» не по корпоративной почте — из письма вырезалась служебная информация (на основании отпечатка из других корпоративных документов из базы корпоративных документов компании), а на пользователя приходил весь лог его страниц службе безопасности — куда ходил и что смотрел.
      Такую «защиту» очень просто обойти: 1) зашифровать данные перед отправкой, 2) Tor/VPN, 3) сторонний почтовик с HTTPS. Более изощрённые способы: 4) стеганография, 5) распечатать и вынести бумажный носитель. Непонятно, кого поймает такая защита.
  • 0
    Ещё один плюс сайтам с настроенным https.
    Только вот почему Хабр до сих пор не умеет работать через него?

    P.S. Пробовал скрипт с Акадо (Москва) и с Онлайм (Москва) — и там и там «не использует».
  • 0
    Встречал такое в логах сервера. Думал очередной бот и банил его в firewall. А оно вон чего оказывается…

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.