company_banner
30 мая 2013 в 13:23

Поиск Яндекса сможет адаптироваться к вашим интересам за несколько секунд

С сегодняшнего дня поиск Яндекса персонализирует ответ не только на основе истории ваших интересов — он будет учитывать и то, что вы делаете на поиске прямо сейчас. Это важное изменение для пользователей: от того, чем мы занимаемся сейчас, зависит то, что мы ожидаем получить в ответ. Поиск Яндекса становится адаптивным. Чтобы это стало возможным, нам пришлось реализовать новую технологию доставки данных в реальном времени.



Чтобы понять, что хочет пользователь, нужен контекст. Когда-то всем контекстом, который был доступен Яндексу, был текст поискового запроса. Со временем мы научились учитывать, из какого региона его задают.

Важным этапом стала персонализация ответа для разных пользователей — мы стали использовать знания о конкретном человеке, чтобы дать ему более точный ответ. Для этого мы использовали данные, посчитанные на истории запросов и кликов пользователя. Причём они были посчитаны как по истории за длинный период, так и по недавней. Мы рассказывали на Хабре об этом этапе.

Каждый раз дополнение пользовательского контекста влечёт за собой изменение качества работы системы, а иногда и пользовательского поведения. Например, когда мы начали учитывать регион, из которого Яндексу задают запрос, люди перестали вручную указывать в поисковой строке название своего города. Незачем писать [холодильник Новосибирск], если поисковая система и так покажет тебе местные предложения. А пользователь сэкономит несколько секунд на наборе символов в запросе.

Использование истории поисков пользователя повлекло за собой ещё один качественный скачок. Яндекс стал чаще показывать любимые сайты пользователя, выбирать более близкие человеку тематики.

Но интересы пользователей не статичны. Более половины всех поисковых интересов живут менее одного дня. Например, человек в целом — игроман, но в какой-то момент он захочет найти, где посмотреть фильм, снятый по мотивам какой-нибудь игры. Или узнать, что это за фильм и больше не вспоминать об этом.

Или человек узнал прогноз погоды и решил купить кондиционер. В этот момент поисковой системе необходимо уметь быстро перестроиться под его новый интерес и реагировать на те запросы и клики который он делал только что.

Поиск Яндекса перестраивается за считанные секунды

Чтобы учитывать все эти мимолётные действия пользователя, нужно уметь очень быстро передавать и обрабатывать данные о них, которые будут использоваться в ранжировании.

Realtime MapReduce


Благодаря нашей новой технологии, которая позволяет доставлять данные в реальном времени, в 95% случаев совершённые человеком действия становятся доступны для участия ранжировании уже через 7 секунд.

Для этого в реальном времени обрабатываются около 10ТБ логов в сутки, с нагрузкой до 200мб в секунду. При этом она полностью совместима с текущими технологиями обработки данных, включая reduce операции.

Это изменение влечёт за собой ещё одно интересное следствие. Результаты поиска перестают быть статичными — поиск становится адаптивным. Один и тот же запрос, заданный после разных запросов, может содержать разный порядок результатов и даже разный состав первой десятки.

Раньше персонализация поиска работала только для 30% самых активных пользователей. Теперь все пользователи Яндекса имеют свой поиск, который подстраивается под них буквально со второго запроса.

О том, как мы реализовали новую технологию доставки данных, мы расскажем в одном из следующих постов.
Автор: @anton
Яндекс
рейтинг 548,92
Как мы делаем Яндекс

Комментарии (65)

  • +69
    Страшный сон СЕОшника. Мне это нравится.
    • +1
      Персонализированный поиск уже давно появился, а СЕОшников становится все больше. Позиций никто не гарантирует. СЕОшники помогают сделать сайт для людей(СДЛ), удалют ошибки, нагоняют трафик по низкочастотным запросам и пр. И ничего страшного не снится. SEO никогда не умрет, скорее адаптируется под новые неприятные условия.
      • +9
        Это уже будет называться не SEO, а привычным словом — Маркетинг.
        • +3
          Точнее Интернет-маркетинг
    • –1
      Да сеошникам пофигу, а вот вебмастерам пора напрячься. Уже сейчас поисковики дают ответы в обход сайтов, по сути, отнимая трафик (читай деньги, на которые и развиваются сайты) у вебмастеров. И с каждым днем давление сильнее.
      • +4
        Для большинства коммерческих сайтов важен не трафик, а целевые действия: покупка, регистрация и т.п. Яндекс в этом плане ничего не отнимает, наоборот — новые введения будут этому помогать. Иными словами для покупателей и продавцов — это только в плюс.

        А вот для сайтов, которые жили с рекламы (читай: продавали воздух) — новые веяния, скорее всего, дадут не очень положительный эффект. Но большинство сайтов такого типа — откровенные ГС. Даже большинство крупных новостных сайтов — это засилие попандеров, ретрамов и иже с ним. Не жалко…
        • 0
          Вы сами то верите, что пользователи будут покупать что-то прямо из поисковика, не переходя на сайт?

          www.kinopoisk.ru, приятный сайт. Удобно искать фильмы, читать информацию об актерах. Зарабатывает сайт на рекламе. Теперь же в Гугле по запросам аля «Крутой Уокер» справа по умолчанию выпадает википедия, в которой далеко не всегда лучшая информация.

          А по коммерческим запросам первые три места реклама, далее одно бесплатное место, потом карта, потом еще 2 халявных места и еще три блока рекламы (справа тоже небоскреб). Пока в фазе тестирование, не всегда в выдаче выпадает, но понятно к чему все идет.
          • +2
            Я не говорил про «Острова». И тем более не рассматривал Google.
            Речь о тенденциях в развитии поисковой системы Яндекс в целом. Конечно найдется масса фанатов того или иного сайта. Вы вот любите кинопоиск. А я пользуюсь другим сервисом, рекламировать не буду, но по аудитории он значительно уступает кинопоиску. Но я пользуюсь именно им. И нашел я этот сервис не потому, что он висел в первых строчках выдачи. А потому, что долго искал именно тот, который меня будет удовлетворять. Поэтому, лично мое мнение — кому не подойдут краткие ответы Яндекса, найдет то, что ему нужно. И ничто его не остановит. Так что переживать за таких людей не стоит. А тот, кто зависал на первых строчках выдачи, удовлетворится и тем, что ему даст Яндекс. Тем более, что Яндекс даёт вполне приемлемые ответы и ребята стараются выдавать еще лучше.

            А паника, которую щас наводят вебмастера и некоторые, не в меру чувствительные сеошники, не более, чем когнитивное сопротивление. Можете кстати поискать в яндексе что это такое. Выдает вполне приемлемые результаты. И пока без подсказок :)
            • 0
              Кто вам сказал, что я пользуюсь кинопоиском? Я тоже использую сервис (сами понимаете, рекламировать не буду), который долго искал, но он меня очень удовлетворяет. А кинопоиск привел, как пример СДЛ, который живет благодаря рекламе.

              Надеюсь, когда будет 36 лет, не стану хвастаться на Хабре знанием такого сложного слова, как «когнитивность».
  • +12
    Многим SEO-специалистам предстоят неприятные объяснения перед заказчиками о том, почему у тех на экране монитора нет сайта в топе. Не говоря уже об обязательствах по выводу в топ.
    • НЛО прилетело и опубликовало эту надпись здесь
    • +17
      Бгг.

      Яндекс стал чаще показывать любимые сайты пользователя

      Какой любимый сайт у владельца сайта?
  • +2
    Технология однозначна полезна для конечного пользователя, персонализация это всегда хорошо. Интересно будет взглянуть на пост о реализации данной технологии(среагировать как вы утверждаете за 7сек хоть и в среднем для такой аудитории — не простая задача).
    • +2
      Мы планируем рассказ про RTMR, технология действительно очень интересная.
    • 0
      Хорошо, но пожалуй все же не всегда.
  • НЛО прилетело и опубликовало эту надпись здесь
    • +2
      Видеоролик попробуйте посмотреть внимательно, ответ там есть(1:39)
      • НЛО прилетело и опубликовало эту надпись здесь
    • +4
      Зачем это выключать?
      • +4
        Лично мне потому, что я все чаще замечаю, что Яндекс выдает мне то, что я по его мнению хочу увидеть, а не то, что я запрашиваю. Это 100% субъективно, но для меня качество выдачи Яндекса заметно ухудшилось.
        • 0
          Так может данное нововведение поможет Яндексу показывать тебе именно то, что ты хочешь?
          А можешь привести пример того, что Яндекс думает, что тебе надо, а на самом деле ты не это хотел?
          Почему спрашиваю, я Яндексом пользуюсь исключительно для поиска фирм и товаров по России. И в этом он более чем хорош. Мне и в голову не прийдёт искать в нём что-то по работе (IT).
          • 0
            Таки-да, каюсь, я искал по работе. Начал ковырять Ruby, и искал метод или кусок кода как правильно «препарировать» строку в формате url-параметра. Поскольку я знаю как это делается на PHP, то спрашивал у Яндекса запросы типа «Ruby аналог parse_str». Из первой десятки результатов про руби оказалась только ссылка Википедию, из топ20 — 3 ссылки, включая Википедию, но не в одной нет ничего даже похожего на то, что я искал.
            • +2
              Два чая этому господину за Ruby!
        • +1
          Абсолютно верное замечание. Причём уже давно. Сколько не пытался искать что-то в яндексе — найти труднее, чем в Google. Поэтому не пользуюсь.

          У Google тоже минусы — с момента введения гео-таргетинга, найти что-то в мировом масштабе стало труднее, обычно ограничивает выдачу страной.
          • 0
            Говорят, на encrypted.google.com гео-таргетинга нет.
          • 0
            Главная причина — размер, полнота, скорость обновления индекса, а не алгоритмы.
      • 0
        ru.wikipedia.org/wiki/Пузырь_фильтров
        «создаёт впечатление того, что наши узкие собственные интересы и есть всё, что существует и окружает нас»

        Что любопытно, сейчас когда искал ссылку на пузырь фильтров — через яндекс найти не смог. Я не помнил точно название и искал по фразе «эффект пузыря поиск». Яндекс выдавал про мочевые, мыльные, экономические — что угодно кроме нужного. Через гугл тот же самый запрос — результат первой ссылкой.
  • +6
    Поискал «питон», на первой странице 7 результатов про змей. Потом сделал около 10 запросов на поиск разных аспектов языка программирования. Прошло минут десять, а выдача по запросу «питон» все еще про змеек.

    Так и должно быть?
    • +1
      Странно, яндексом кроме метрики и вебмастера не пользуюсь. Первым запросом было «питон» — вся первая страница о программировании. Поискал следом про ящериц, змей, фото змей и т.д(с десяток разных запросов о пресмыкающихся). Ищу опять питон — и снова вся первая страница о программировании. Галочка «учитывать мою историю поиска» активна.
    • 0
      5 ссылок про язык, хотя я яндексом почти не пользуюсь.
    • +3
      Полагаю, что искать всё-таки надо «python», а не «питон»?
    • +6
      Было бы здорово, если бы эту технологию можно было попробовать так просто и интерактивно. Но персонализация обучается на реальных действиях многих пользователей, которые предполагают: запросы, клики по результатам, а также время проведённое на результатах поиска. Поэтому обмануть её или искусственно воспроизвести далеко не так просто.
    • 0
      У меня по запросу «Python 2.7 %library_name%» ищется то, что надо, да еще и питонистские вакансии в Яндексе иногда предлагаются. Еще у Яндекса удобный колдунщик, прямо в котором можно нужную версию питона в два клика выбрать.
  • +2
    Уже перешёл на все сервисы Яндекса, кроме поиска. Даже Яндекс-браузер больше Хрома понравился =)
    Думаю, теперь и на их поиск можно пересаживаться, статья про Яндекс-острова заинтересовала =)
    • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        Не знаю, вот мой пример ( habrahabr.ru/post/173351/#comment_6021691 ) до сих пор выдаёт N-дцать страниц абсолютно нерелевантных ссылок, игнорируя ВЕСЬ поисковый запрос.
        • НЛО прилетело и опубликовало эту надпись здесь
          • 0
            > У меня сейчас первым результатом стоит www.elbase.ru/products/view/258790/%CA%CC%CF201%D3%CF1%C0
            Гм. Я же так и писал в комментарии, на который сослался =)
            >кроме первой ссылки к основному слову запроса («кмп201уп1а») не относится ни одна страница вплоть до … я даже не знаю, до какой. Устал листать
            >А вообще писать о проблемах с поиском писать лучше в саппорт или делспам.
            >Правят НЕ быстро, но всё же правят.
            Из саппорта мне ответ-подтверждение пришёл ещё 20 марта. Весёленькое у них «небыстро, но правят» =)
            • НЛО прилетело и опубликовало эту надпись здесь
              • 0
                Угу, я и забил. Не пользуюсь Яндексом уже лет 5 для поиска никаких данных кроме содержимого каталогов самого Яндекса (вроде Маркета и Адресов). Так, изредка только проверяю, не пора ли вернуться.
  • +2
    В пример привели поиск кино. Запросы «Афиша» -> «Кино сегодня» -> «Великий...». После первого запроса в выдаче появляется десяток сайтов, которые ответят на сиюминутный вопрос.
    Похоже алгоритм создан для людей, которые не могут сразу сформулировать поисковый запрос. Много таких?
    • +5
      Уверен, что таких большинство.
    • +5
      Думаю не мало. Такие запросы строят люди далекие от IT.
  • +3
    А что делать, если контексты переключаются?

    Скажем, сижу на работе, ищу материалы по рабочей же, технической, теме (хотя как раз по ним, как в моей предметной области, Гугл как-то больше нравится, ибо рунет обычно пестрит перепечатками с англоязычных статей — а хочется первичную информацию читать), потом возникает вопрос — «а не сходить ли в кино вечером», ввожу что-то про афишу/кино/расписание — и дальнейшие ответы на рабочие вопросы будут окрашены кинотематикой… Еще веселее, когда в процессе работы с коллегами вышел спор про вторую мировую, и я полез узнать какие-то даты, притом не совсем чтобы явные. До сих пор отдуваюсь, Яндекс все с военным уклоном ищет )

    Что обидно — темы берутся не только из поисковых запросов, они берутся и из прочитываемых писем («мы не читаем» как-то забывается, да — это же робот читает, правда?). В результате, стоит по глупости зайти в письмо от спамеров, да еще на какую кривую тему, либо открыть рассылку, на которую подписался 5 лет назад, и отписался бы, да у них механизм отписки не работает — все, дальнейшая выдача поисковика забита будет учетом контекста этих писем.

    Я к чем — не все следует учитывать. Может, и вообще бы сделать видимую кнопку «сбросить старый контекст», по нажатию на которую статистику недавних и давних запросов сбрасывать?
    • +1
      А что делать, если контексты переключаются?

      Как раз в этом случае скорость и становится критической. Раньше мы могли учитывать только ваши общие интересы. Теперь же запрос на новую тему переключит контекст практически мгновенно.
      • 0
        Так выше же написали, что человек искал питон и мгновенно реагирует… :)
        • +1
          Выше я написал, что учитываются далеко не только запросы, а большее количество разных факторов, поэтому искусственно задав запрос и кликнув куда-нибудь, её не переключишь.
          • 0
            я это прочитал. Так в чем тогда мгновенность подстройки под пользователя, если он не подстраивается? :)
            • 0
              Шах и мат!
  • 0
    Попробовал, очень понравилось.

    Но пока Яндекс, как и остальные поисковики, отстает качественно от Google. Причина в том, что у Google есть единая точка входа пользователя со всех его устройств (Chrome, в основном), поэтому он имеет гораздо больше информации о пользователе для персонализации.

    Bing и Yandex тут отстают.
    • +1
      Простите, а у Вас есть аккаунт на Яндексе? Ну Я.Почта хотя бы, или Я.Деньги? Вся авторизация происходит через Я.Паспорт, это и есть единая точка входа. Или Вы что-то другое имели в виду?
      • 0
        Другое, конечно. У многих пользователей включена синхронизация учетных записей Chrome на разных устройствах, как, например, у меня.

        То есть, — на планшете, в телефоне, на ноуте и на десктопе у вас единое окружение. Включая плагины, закладки и так далее.

        Думаю, это вполне может и даже должно использоваться Google для формирования общего единого профиля пользователя на всех этих устройствах и для поиска.

        Да и Гугл.Аналитикс установлен пока на большем числе сайтов, чем Яндекс.Метрика, что позволяет точнее предсказывать.
  • +4
    Раньше оптимизаторы танцевали с бубном, а теперь будут танцевать Stepdance! =)
  • +2
    А не приведет ли это к пузырям фильтров (filter bubble)?
    • +2
      Этого можно было бы бояться, если бы речь шла о персонализации по общему кругу интересов. В данном случае, быстрая адаптация поиска, наоборот, помогает вам вырваться из пузыря постоянных интересов.

      Т.е. даже если вы обычно интересуетесь узким кругом тем — если сейчас вы заинтересовались чем-то другим, контекст быстро переключится и покажет вам именно то, что вам нужно сейчас, а не обычно.
  • +2
    Очень нравится яндекс-браузер и идея с островами, потому пытаюсь «натаскать» я-поиск под себя заранее. Но к сожалению переодически приходится переключаться на гугл. Возможно виной тому моя история поиска у гугла за последние 2-3 года.
    Например по запросу homebrew в яндексе первой ссылкой игровой сайт, а у гугла пакетный менеджер, который мне собственно и нужен
    А уж поиск по git репозиториям — вообще сказка в гугле. Ввел git *** — на первой странице только гит репозитории и мб пара статей с хабра
    Яндекс же почему-то «статейный» контент — статьи, вопросы на stackoverflow и тд выводит на первый план.
    Хотя колдунчик радует, но жалко что он работает только по языкам программирования, а не по фреймворкам.
  • 0
    Не могу заставить себя пользоваться Я.Браузером из-за одной противной мелочи. Закладки в виде фавиконок очень сильно разнесены на панели в отличие от pinned табов, которые наоборот просто вжаты друг в друга. В том же хроме эти две вещи практически равны. В остальном все очень приятно. Острова — тоже очень интересно.
  • +3
    Решил пофантазировать:
    1. Я боюсь положительной обратной связи: рискуем оказаться в информационном гетто? Если искать только кондитерские изделия, то можно никогда не узнать, что существует цветок «ирис».
    2. Яндекс слишком много будет знать обо мне.
  • 0
    Так же палевно! Отошел от компа, дал кому-то пояндексить, а тут БАЦ и некомильфо выдача… )))
    Режим инкогнито сделайте, чтобы в адресной строке можно было указать какой-то символ для включения режима «не учитывать этот запрос».
    • 0
      Чтобы избежать некомильфо выдачи пользуйтесь приватными вкладками ;-)
  • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    А у нас тут назрел вопрос, что за cho.<я_вырезал_часть_ссылки>.org:9119/counter.gif вставлено в начале статьи? Поломашки? Попытка слежения или тестирование хабраэффекта на каком-то непонятном ресурсе? Или это хитрая демострация одного из способов аналитики действий пользователя? =))
    • +1
      Дополнительную статистику считаем.
  • 0
    Скоро мне и в поиск вбивать ничего не надо будет — Яндекс сам будет знать зачем я зашел.
  • 0
    Так много всего супертехнологичного делает эта компания) на фоне этого интересно когда Яндекс научится делать простейшие вещи, например удалять давно несуществующие страницы и дорвеи с одинаковым контентом хотя бы из топ 10 выдачи?

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка