17 июля в 11:22

Как НЕ накрутить рейтинг на Хабре


В продолжение статьи. Сказ о том, как Хабр залатал еще один способ для накрутки рейтинга быстрее, чем я успел похайпиться на этом.


Продолжаем исследовать сайтовый API Habrahabr и случайно находим изменения в механике начисления рейтинга.


С берега хочу заявить, что статья носит развлекательный характер и не претендует на научность.
Так что, если вы сегодня добрый, то добро пожаловать под кат.



Вступление


Хорошо, Хабр, ты ввел ограничение на 3 поста в день, но ты не можешь просто так запретить флуд в комментах. А как мы знаем, каждый комментарий — это витамины, белки и кальций потенциальные 0.1 рейтинга, которые в сумме дают примерно тот же объем, что и посты.


Вы могли подумать: 'Ааа, просто наплодить комментов с плюсиками и все… Ну так не интересно', а вот и нет — мы еще будем издеваться над API хабра и ловить веселые ошибки.


Итак, для этого рецепта нам потребуются: одна старая статья, чтобы не привлекать внимания, и проверенный аккаунт друга, которого будем толкать в топ.


Кстати, несмотря на то, что статья старая (аж полгода как), в самое обсуждаемое она все равно пролезает:


К счастью, это 'самое обсуждаемое', далеко не на фронт-пейдже висит, можно не переживать.


По сути, нам нужно два запроса: для размещения комментария и его одобрения.


API


Как оказалось, в запросе на размещение комментария все довольно-таки топорно, но нашел странную вещь. Параметры в API для десктопной версии и мобильной несколько различаются.


Например, создавая комментарий из обычного браузера, мы отправляем следующий запрос, указывая в качестве action значение add:

Но если тоже самое делать из мобильной версии, которая идет с префиксом m. в пути сайта, то теперь action приобретает значение mobile_add:

Немного удивляет такое решение, поскольку можно определять поведение сайта на уровне специфических для мобильной версии заголовков. Но тем не менее, существенных отличий в поведении на этой почве не нашел.


Небольшое отступление.
Пытался посмотреть как сделано в iOS приложении хабра, но там оказалось все крайне серьезно и включен SSL Pinning, запрещающий подслушивание, который никак не обойти даже с помощью подложного root сертификата:

Сейчас пока пробую устроить харакири jailbreak своему айфону, чтобы получить возможность поиграться с API посредством черной магии, но это пока в процессе. Технически API вообще-то открыто, есть даже либа на удаве и пыхе, но без token-а, выдаваемого хабром, ничего не получится. Либо просто найду Android устройство, но там тоже нужно колдунство.


А вот с голосованием все уже интереснее.
Оказалось, что метод голосования за комментарии и статьи вообще один и тот же и отличается только единственным параметром, отвечающий за статью в которой находится коммент.
Напомню структуру для голосования за статью:


body = {
# id статьи
    'ti' => params[:id],
    'tt' => 2,
    'v' => 1
}

А вот как выглядит структура голосования за комментарий в ней:


body = {
# теперь это id комментария
    'ti' => params[:id],
    'tt' => 3,
# а вот это id статьи
    'pti' => 322908,
    'v' => 1
}

По моему скромному мнению, сделано немного кривовато.
Один и тот же параметр в одном и том же действии имеет два разных назначения. И вообще это один запрос на два разных действия. Но не мне судить хабр, все это, в конце концов, работает.


И уже можно успокоиться, запустить скрипт и пойти пить чай, но это же было бы скучно.
Будем играться с параметрами. Что если полю v поставить значение 100? Нет, пишет, что страница не найдена. А может -100? Тоже самое.


Вообще, habr на любое неправильное действие всегда возвращает 404:

Будь то ошибка в параметре или что-то еще. Нельзя понять, действительно ли страницы нет или ты просто где-то опечатался. Наверное, против хацкеров это и действенно, но удобно ли это было в процессе разработки сайта?


И все-таки в определенный момент хабр психанул:

Случилось это, когда v стало равно нулю. Я что-то такое в детском садике от воспитателя слышал, когда кидался хлебом на обеде.


И если при этом еще неправильный id комментария указать, то нас еще пожурят:


Из интересных моментов заметил, что номер комментария инкрементируется по 2, а не по единице.
То есть, если первый коммент идет со значением:


comment_100002

то следующий уже будет


comment_100004

Уверен, что между ними не мог вклиниться еще один комментарий. Ситуация стабильно воспроизводилась на протяжении десятка тестов глубокой ночью с перерывом в долю секунды.
Но может, я и ошибаюсь. Если кто может объяснить логику этого феномена, то напишите в комментариях.


Смертные грехи


Но как же без человеческого фактора. В этот раз я решил не скрываться и просто наклепать комментариев к своей старой статье, не пряча ее в черновики. И в этом была моя роковая ошибка.


У кого-то настолько запеклось от вида незаслуженных плюсов, что он не поленился пройтись и для каждого из 50(oh my god) комментариев поставить минус:


К счастью или нет, к тому моменту лавочку уже прикрыли, не успей я набрать даже десятка баллов. Заметил я это только после полного прогона скрипта, зайдя в профиль, чтобы насладиться своей победой… но меня ждало только полное разочарование.


Естественно, я решил это просто так не оставлять и направился прямиком в саппорт c вопросом, куда делся мой рейтинг, который я так усердно накручивал. И вот что мне ответили:


Судя по всему, 'не столь ощутимо' теперь означает 'вообще никак'.


Если серьезно, то на прямой вопрос о том, сколько теперь привносят рейтинга комментарии, саппорт ответил: 'Мы не уполномочены разглашать данную информацию'.


Даже когда потом самостоятельно прошелся по чужим комментариям в разных статьях, оставляя плюсы и минусы, чтобы выявить какую-либо зависимость, то ничего не вышло, к сожалению. Независимо от того сколько уже было проголосовавших за некий коммент, много или вообще никого, мой голос никак не мог изменить рейтинг автора.


Если у вас есть какая-либо информация об этом, то буду рад услышать.


Заключение


Вот так хабр стремительно охладил мой пыл, показав, что до хакера мне еще далеко.


Вообще, конечно, суть совсем не в накрутке, а в исследовании сайта. Впечатление сложилось такое, что в Хабре, как и везде, есть множество legacy кода и решений, оставшихся с самого запуска проекта, которые просто нет смысла переделывать.
В следующий раз будем копать уже в более серьезном направлении, в сторону реального API, используемого в мобильном приложении, которое даже на поверхностный взгляд выглядит профессионально.


UPD1: Номера комментариев идут через 2 для совместимости с Geektimes: на Хабре четные, на Geektimes нечетные. Спасибо lexnekr за пояснение.
UPD2: Подъехало особое мнение насчет инкремента id. Говорят, что это обусловлено конфигурацией MySQL. Спасибо youROCK и kafeman за инфу.
Буду благодарен за пруфы, если кто-то может их предоставить.
UPD3: Но мне больше импонирует третье мнение:

Максим Губин @Mehdzor
карма
108,2
рейтинг 287,1
Чебурек с сыром
Похожие публикации
Самое читаемое Разработка

Комментарии (43)

  • –5
    Копать надо и в рамках «социальной инженерии».

    frees2 9 июля 2017 в 08:03 –5
    О, очепятка, правильно — гнобление антропогенной теории потепления"

    Профессионал пользователь хабрахабра будет плюсовать-минусовать за качество аналитики и кода, ангажированный же выступает за групповые интересы ( Путина, Порошенко, Христа, Абракадабры, продвигает заговоры, конспирологию, мнимые групповые интересы, без разницы.).

    Группа объединена и управляема, а «оригинальный пользователь» нет.
    Одиночка проигрывает группе.
    Другое дело, падает в хабрахабре качество материалов и аналитики.
    • +3

      Как в топик про хабр попала политика?

      • +2
        О чём хочет, о том он и комментирует.
      • –1
        Найти закономерности в комментариях, линиях, времени, группах (они довольно чёткие в гиктаймсе, по приглашениям, к примеру), это и есть инженерия, чистый хак это 20% остального. Потом уже json разбирать.

        Быстрей всего ( к любому ресурсу применимо) бывает «Операция Ы & все уже украдено до нас».
  • +2
    Из интересных моментов заметил, что номер комментария инкрементируется по 2, а не по единице.

    Если память не изменяет это из-за гиктаймса. У них смещение на 1 должно быть, чтобы не оказалось что на одном и том же id висят разные комментарии.
    Актуально в связи с периодическим сливанием\разделением отдельных проектов ТМ.
    • 0

      То есть, на Geektimes нечетные id, а на Habrahabr четные?

      • 0
        Совершенно верно
        • 0
          На самом деле если посмотреть свой профиль (ну или мой), то можно заметить, что даже от 2017 на гиктаймсе есть комменты с чётным Id. Пример.
          Хотя по идее такие должны быть только «архивные» (т.е. до разделения на Хабр и Гиктаймс) и из перенесённых хабов.
          • 0

            Круто, добавил инфу в статью. Спасибо.

            • 0
              Вообще это не 100% инфа.
              Я не могу уже найти пруфлинк.
              Поэтому и написал:
              Если память не изменяет

              Но, по-моему была какая-то статья где об этом говорилось…
              • 0

                Если кто-то подкинет еще и пруф, то будет вообще здорово. Но пока все сходится.

                • 0
                  Мой склероз мне говорит, что это из-за механизма хранения комментариев в базе данных и чтобы не было конфликтов при репликации или каком-то подобном механизме. Подробно не помню, то был комментарий одного из разработчиков Хабра.
                  • 0
                    Это сказал один из пользователей хабра. Разработчики тогда в комментариях так и не появились и ситуацию окончательно не прояснили.
                    • 0
                      Да я уже освежил в памяти эти комментарии (там от 12 января комментарий про то же самое). Ну и в другой юбилейной теме от 2008 года то же самое пишут.
                      Но склероз — он такой. Выдаёт желаемое за действительное.
          • 0
            Значит, его точно никуда не перенесут :) видимо, модератор покрутил, почитал и сказал: «ну вот это точно ГТ!»
        • 0
          Совершенно неверно. Я не являюсь разработчиком Хабра, но из того, что мне известно об их движке, разница в инкременте никак не связана с разделением на HH и GT. Это особенность их конфигурации MySQL.
          • 0

            А можете поподробнее рассказать?

            • 0
              Master-slave репликация. Например, на master ID четные, а на slave нечетные. Но для чего именно такой костыль, я тоже не понимаю (неофициальный ответ ТМ — если такой умный, предложи, как сделать лучше).
              • 0

                А если добавится еще одна нода, то все по звезде пойдет?

              • 0

                Мне кажется, больше подходит этот гениальный ответ.


                Да просто i++ задублировался в коде. С тех пор его никто не правил ).
                Придумали еще – шардинги, борьба с конфликтами...
                • +1
                  Если бы это было так, то нечётных комментов не было бы в природе.
                  А они-таки есть.
                  И механизм их создания (у меня) ничем не отличается от механизм создания обычных.
                  А так да, возможно всё.
              • 0

                Этот костыль для того, чтобы корректно объединять данные двух одинаковых таблиц с разных серверов в главной — чтобы не совпадали номера строк.
                Другой вариант костыля — добавить в ключ кроме столбца с номеррм строки ещё один столбец с номером сервера.

                • 0

                  По сути это не нормальный мастер-мастер, а просто шардинг по остатку от деления на выбранный step.

            • 0
              Подробнее можно почитать здесь. Ну как подробнее… Просто первое упоминание подобного инкремента я там и увидел. И уважаемый kafeman и там отметился в комментариях :)
            • 0
              Покопался глубже, нарыл этот пост.
              Ну и комментарий в нём от 2008 года. Так что тема с репликацией, похоже, уходит очень глубоко в legacy-код.
  • 0

    Могу предположить что голосование за комментарии к старым статьям больше не влияют на рейтинг.

    • 0

      Проверял на новых статьях в том числе, ситуация не изменилась. Возможно, дело в количестве проголосовавших. Например, каждые 5 лайков — плюс бал в рейтинг.

  • +3
    Почему-то напомнило "Хакер в столовой"
    День 200-ый

    Посетители столовой с ужасом находят, что, чтобы насыпать соли, они должны подойти к официанту, предьявить паспорт, получить специальный 8-значный одноразовый код к солонке. Для получения перца процедуру следует повторить.
  • 0
    Я не разбирался с API ТМ, засим вопрос: НЛО может банить вопросы. А поднимать или опускать?
    • 0

      Это вопрос стоит задать разработчикам хабра, поскольку это API нигде не торчит и послушать его нет возможности.

      • 0
        Хм… То есть, к опциям НЛО доступа нет?
        В общем то логично.
  • 0
    Пожалуйста, перестаньте называть AJAX-запросы API. Это вносит путаницу.

    /me создатель API-библиотеки для питона.
    • 0

      Знакомые лица на гитхабе)

    • 0
      AJAX запросы к API
  • 0
    Что касается четности id комментов: в mysql есть опции auto_increment_step и auto_increment_offset, которые влияют на это. Предназначены эти опции для мастер-мастер репликации, чтобы id строк, которые были вставлены на разных мастерах, не пересекались. Но можно и как-нибудь по-другому использовать эту опцию, все ограничивается лишь фантазией :)
    • 0

      Добавил вариант в статью. Будет здорово, если какой-нибудь пруф еще подъедет.

      • 0
        Необходимо для репликации master-master, чтобы счетчики не пересекались. Пример
  • +1
    Молодой человек, вы ходите по удивительно тонкому льду.
    • +1

      Ладно бы я куски кода из исходников хабра публиковал. А так все невинно, чуть более, чем полностью.

      • +1
        Банили и за меньшее, тащемта.
  • +1
    Кстати, возможно, некоторые вопросы про новую систему рейтинга Хабра раскрыты здесь. Но это не точно.
  • 0
    оставляя плюсы и минусы, чтобы выявить какую-либо зависимость, то ничего не вышло, к сожалению
    А вы не думали, что рейтинг за комментарий может добавляться с определенным таймаутом? Чтобы закономерность нельзя было проследить явно.
    • 0

      Думал, теория не подтвердилась.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.