company_banner

Яндекс проводит эксперимент по шифрованию текста запроса в заголовке Referer

    Сегодня мы запускаем эксперимент, в рамках которого у 2% пользователей, переходящих по ссылкам из результатов поиска, заголовок Referer не будет содержать текста поискового запроса (точнее, будет, но в зашифрованном виде). В дальнейшем эта практика распространится на всех пользователей Яндекса.

    В этом посте мы хотим рассказать, почему приняли такое решение, и обсудить с вами, какие инструменты могут прийти на замену открытым данным о поисковых запросах.

    image

    Когда-то никому и в голову не приходило скрывать данные о том, с какой страницы был совершен переход, и по какому запросу была сформирована поисковая выдача, с которой тот или иной пользователь пришел к вам на сайт. Но мир меняется. С каждым днем пользователи становятся все менее безликими для владельцев сайтов, которые при желании могут отслеживать их действия на своей территории, сохранять, обрабатывать и использовать эти данные.

    По запросу к Яндексу, конечно, невозможно сделать какие-то выводы о человеке, утвердиться в определенных фактах о нем, но большой список запросов позволяет сделать ряд предположений о его личности и интересах: какими маршрутами он регулярно пользуется, какие товары и в каких магазинах он ищет, когда и куда он может поехать в отпуск. Исторически сложилось так, что всё это может увидеть владелец любого сайта, на который вы переходите из результатов поиска. Даже больше — их видит не только владелец сайта, но и владельцы установленных рекламных систем, счетчиков, социальных виджетов и т.п. В результате третьи лица могут накапливать и использовать по своему усмотрению информацию, обработку которой пользователь доверил поисковой системе.

    Мы не можем точно знать, не навредят ли такие действия нашим пользователям, и это вызывает наше беспокойство. Потому мы и решили провести эксперимент — для части аудитории убрать текст поискового запроса из реферера.

    Важно отметить, что наша цель — защитить пользователей Яндекса, а не помешать владельцам сайтов получать полезную им обезличенную статистику. Статистику по запросам можно будет, как и раньше, узнать через Яндекс.Метрику и Яндекс.Вебмастер. Именно поэтому текст запросов не удаляется из реферера совсем, а передается в зашифрованном виде.

    Срок эксперимента пока точно не определён — он завершится, когда мы соберём достаточно отзывов. И вы можете нам с этим помочь: расскажите, в каком виде и для чего вам нужны поисковые фразы в реферерах, как вы используете эти данные, и что может у вас сломаться, если их не станет.

    Мы твердо уверены в том, что текст поискового запроса не должен передаваться кому-либо еще, но мы готовы к диалогу и поиску компромисса. Например, реферер может содержать не точный текст запроса, а его тематику, позволяя узнать, с какой целью пользователь зашел на ваш сайт.

    Будем рады выслушать любые вопросы, замечания и предложения.
    Метки:
    Яндекс 538,05
    Как мы делаем Яндекс
    Поделиться публикацией
    Комментарии 290
    • +26
      Этот эксперимент возможно начат не сегодня, а длится уже несколько месяцев (с лета)?
      Все бы хорошо, но таким образом получается, что владельцу сайта придется обязательно подключать Яндекс.Метрику, чтобы узнать с каких поисковых запросов приходят пользователи, независимо от потребности в сервисе метрики как таковом? Что особо важно для всяческих интернет магазинов. Или я что-то упустил и этот вопрос как-то решаем для владельцев сайтов иным образом?
      • 0
        Этот эксперимент начнется сегодня.
        Статистику по запросам можно получать не только из Метрики, но и из Вебмастера, т.е. Метрику можно и не ставить, если она вам не нужна.
        • +8
          А те, то пользуется не метрикой, а LI например. Как им смотреть запросы?
          • +8
            К чему такие вопросы? Вы ждете от яндекса, что он опровергнет тезис «Яндекс — наше все» или приглашаете капитана очевидность в тред?
            • +35
              Кошу под дурака. Просто крик души. Суть всей авантюры понятна конечно же…
        • +2
          Они же написали, что этот вопрос решаем и возможно будут передавать не полный текст запроса, а только тематику запроса.
          В любом случае, это их ресурс и сделать доступ к рефереру только с яндекс-метрики или вебмастера вполне логичный шаг.
          • 0
            Теперь от взора Яндекса вебмастеру не укрыться. Выдачу яши итак качает вечно, сейчас они еще и поведенческие фильтры тестить начнут.
          • +3
            интернет магазины и так в обязательном порядке подключают набор минимум Метрика + Аналитика. Честно говоря, единицы сайтов пишут что-то свое для аналитики (сравнимое по функциям и мощности с Метрикой и Аналитикой), а в основном пользуются API. Особенно, после того, как Яндекс сделал свой API конструктивно подходящим для Аналитики (такое же).

            Да и какая разница? Реально решения такого же сильного и к то муже бесплатной, как связка Метрика+Аналитика сейчас нет.

            Тут удар будет скорее по датамайнинг системам, которые на основе этих данных меняли выдачу сайта для увеличения конверсии.
            • 0
              Может у меня и устаревшие представления о конфидециальности, но я никогда не использовал сторонние сервисы на своих веб-проектах. Ведь кто знает, что подгрузит запрос счетчика при очередном GETе…
              • 0
                Честно говоря, единицы сайтов пишут что-то свое для аналитики


                Все верно.
              • 0
                Честно говоря, единицы сайтов пишут что-то свое для аналитики

                Зачем писать свое, если уже есть что-то готовое? Не сервис, а софт, обычный http сервер — apache или nginx и обычный софт для анализа логов, хоть Excel.
                • 0
                  есть живой пример или сервис? Я бы с удовольствием почитал.
                    • 0
                      я такое осилю. Но с трудом представляю, как мой родственник для своего сайта «Вызвать сантехника на дом» такое делает. Он поставил метрику. И знаете, проблем нету. Ничего к запросам не дописывается, ничего не утекает. Просто нечему.

                      Все же собственные решения — это удел больших, технологичных проектов, но таких меньшинство. Это я вам из реального мира задач сайтостроениия сообщаю.

                      Это не значит, что не должно быть альтернатив, это значит, что большинство удовлетворится метрикой и аналитикой.

                      Я не вижу плюсов в установки своего решения для 99 процентов своих проектов.

                      Это все мое мнение, я могу ошибаться.
                      • 0
                        Это не свое решение, а довольно такие стандартизированное. Многие хостеры дают к нему доступ по умолчанию, иной раз мучаешься как его выпилить :)
                        • 0
                          черт, промахнулся стрелкой. в самом деле все так. в свое оправдание жамнул плюс тебе в куда не говорят. :)
            • +80
              Мы не можем точно знать, не навредят ли такие действия нашим пользователям, и это вызывает наше беспокойство. Потому мы и решили провести эксперимент — для части аудитории убрать текст поискового запроса из реферера.

              Хорошая попытка, друзья, но на хабре не та аудитория, которая проглотит такое «объяснение».
              • 0
                А какое по вашему мнению есть объяснение эксперименту? Или нужно было сразу на 100% выкатить шифрование рефереров?
                • 0
                  Логичное объяснение нововведению есть ниже по комментариям. А почему всего на 2% — так любые технологии сначала тестируются, а потом уже внедряются массово.
                  • 0
                    ok, то есть относительно самого факта шифрования и формата эксперимента возражений нет. Не нравится объяснение?
                    • +1
                      Не нравится, когда людей держат за дураков.
                    • 0
                      Про тестирование на 2% аудитории вы хорошо вспомнили: 200Гб на Яндекс.Диске мне очень пригодились, спасибо!
                      А если серьезно, я бы еще вспомнил про платформу «Атом», которую как раз из Метрики предлагалось обучать, поэтому подобная «мотивация» для привлечения новых площадок вполне логична.
                      • 0
                        нуок, вот и договорились.
                    • +3
                      Поисковая система не хочет делиться правом следить за пользователями, из которого можно извлекать прибыль.
                      • 0
                        Я спрашиваю про факт проведения эксперимента на 2%, а не факт шифрования рефереров. У него может быть какое-то другое объяснение, помимо «мы не можем точно знать [...] поэтому решили провести эксперимент»?
                        • 0
                          Яндекс зарабатывает гигантские деньги на поиске, это его основной источник дохода и грубо туда лезть нельзя в принципе. Эксперимент подразумевает сравнение некоторых показателей до и после. 2% — достаточное число для сравнения учитывая аудиторию Яндекса, и в то же время, в случае любого факапа доходы не просядут более чем на 2%.
                          • 0
                            ok, то есть проведение эксперимента — разумное дело. А то мне из вашего комментария показалось, что тут Яндекс тоже виноват.
                    • +9
                      После прочтения топика почувствовал что меня принимают за идиота, если честно
                    • +18
                      Гугл так делает уже пару лет — www.notprovidedcount.com/
                      Вот и яндекс подтянулся.
                      • +2
                        А API яндекс-метрики позволит получить текущего пользователя (сессию)?
                        Допустим, мы хотим зафиксировать текущего пользователя, узнать запрос, по которому он зашёл. Как из метрики получить именно его свойства из списка безликих посетителей?
                        • +4
                          Нет, не позволит. Какой смысл в одном месте данные защищать, а в другом — раздавать?
                          • +4
                            Чтобы на сайтах левые баннеры и рекламные площадки не рекламировали мне то, что я ищу, не?
                            • +1
                              Согласен! Я не очень хочу пользоваться метрикой, я хочу пользоваться системой анализа и CRM моего сайта, зная по каким запросам ко мне попали потенциальные клиенты.

                              ИМХО для магазинов (которые, например, выгружают товары на маркет) нужно предоставить некоторое API, чтобы интегрировать их в систему учета этих самых, магазинов.
                              • 0
                                Я думаю, что совсем не сложно сделать плагин к браузеру, который будет из реферера удалять поисковый запрос для всех популярных поисковиков.
                                Вполне вероятно даже что такой плагин уже существует.
                          • +2
                            Я плохо разбираюсь в веб-технологиях, но посыла не понял — сперва яндекс каким-то образом сообщал сайту по какому запросу он был найден, а теперь решил, что это несекурно для пользователей?
                            • +4
                              При переходе с урла URL1 на URL2 по ссылке, большинство браузеров по умолчанию передают в HTTP запросе к URL2 заголовок Referer: URL1.
                              Поскольку текст запроса присутствует в адресе, то раньше он передавался таким способом.
                              Суть этого эксперимента в том, что теперь для части пользователей заголовок будет, но текста запроса в нём уже не будет.
                              • +1
                                А перенастроить браузер против такого поведения можно?
                                • 0
                                  Для Хрома есть расширение. Наверняка есть аналоги и для Лисички.
                                  • 0
                                    Хотел бы для старой Оперы, пойду гуглить, но если кто-то напишет проверенные методы буду благодарен.
                                    • 0
                                      Там эта настройка нативно есть
                                      • 0
                                        To disable referrer logging, go to Settings > Preferences > Advanced > Network and uncheck “Send referrer information”
                                        Оно?
                                        Только что-то после снятия галочки кнопка «редактировать» и «написать» сообщения не работает…
                                        Это бага или фича?
                                        • +3
                                          Фича. Referer по стандарту опционален, но куча сайтов отказываются общаться с пользователями, которые его отключают.
                                          • 0
                                            Это багофича хабрахабра, логин без referrer'а не работает.
                                            • +2
                                              Баг хабра. Нельзя рассчитывать на необязательные поля.
                                      • 0
                                        Нужно. Совершенно отвратительная фича, которая тихонько прижилась и вовсю используется.
                                        Для всех браузеров есть надстройки, найти легко.
                                    • +2
                                      Посыл в том, что все желающие послушать трафик пользователя (от местного админа и до спецслужб) как-бы не смогут узнать запросы пользователя. Т.е. они увидят, что пользователь пошел на ютюб, но пошел он туда по запросу «котики» или «жесткое порно» — не увидят.

                                      Такая себе практика, как по мне. Предложение тотального HTTPS везде мне нравится больше.
                                      • +2
                                        Такая себе практика, как по мне. Предложение тотального HTTPS везде мне нравится больше.

                                        Одно другое не исключает. HTTPS — тоже хорошая идея.
                                        • 0
                                          При тотальном HTTPS компании типа Яндекс или Twitter смогут беспрепятственно собирать наши персональные данные. Не будут же люди в домашних условиях собирать MitM-железо, чтобы проверить все протоколы передачи на протяжении всех их активностей.
                                          • 0
                                            Интересное мнение, можете пояснить?
                                            • +3
                                              В качестве предвестника — сбор информации о Geolocation в Twitter без какой-либо на то причины: habrahabr.ru/post/204106/

                                              И так может поступить любое приложение. Одно дело подключить телефон по Wi-Fi к ноутбуку и запустить на нем Wireshark, другое дело, когда используется симметричный протокол шифрования. Для него уже надо будет собирать целый MitM, подменять сертификаты, чтобы проверить проприетарный протокол на вшивость.

                                              Поэтому, когда Google уходит в тотальный SSL, у нас — у IT-сообщества практически исчезают методы контроля на тем, что реально передается внутри.
                                              • 0
                                                А, вот оно что. Понятно, спасибо.
                                                • +1
                                                  Ай, да ладно, если это трафик твоего локального приложения — его всегда можно достать (дебаггеры никто не отменял — см. тот же топик о Твиттере). А чужой трафик слушать — ну да, не нужно.
                                                  • 0
                                                    Вы с телефоном на улицу выходите?
                                                    • +1
                                                      Поясните, мысль, пожалуйста. В своём телефоне я тоже могу продебажить что-угодно. В чужой я не залезу, но и не должен. Всё вроде бы ок?
                                                      • 0
                                                        На улице, когда вы подключены к сети оператора, вы не можете встать в разрыв канала и «продебажить» трафик facebook-клиента на своем iPhone.
                                                        • +1
                                                          Вообще-то могу. Вы читали статью о твиттере? Там так и делали.
                                                          • 0
                                                            Ок, там не MitM, это я пропустил. Но certificate pinning, необходимость джейла лишь подтверждают мои слова: контролировать трафик приложений больших корпораций — что там реально передается — становится все сложнее, и введение поголовного HTTPS — прекрасная для них возможность максимально все скрыть от глаз пользователей.

                                                            Когда они утверждают, что защищают нас от прослушки — они защищают от нее, в первую очередь, себя.
                                                            • +1
                                                              Я всё-равно не понимаю разницы. Обычный пользователь и так и так ничего не увидит. Для программиста просто добавляется какое-то время (ну пусть пару часов) на джейлбрейк, подключение отладчика, установку брейкпоинтов ну или патч этого самого certificate pinning. И всё снова на ладони. Вы к тому, что людям будет лень тратить это время?
                                                              • 0
                                                                За обычного пользователя это должен делать App Store, но ни Apple, ни Google доверия нет — они такие же игроки. Да, вы соглашаетесь передавать свои гео-данные, но соглашаетесь ли вы с тем, что передаваться они будут действительно всегда? Одно дело сообщить Инстаграму где сделана фотка или чекин в Foursquare, другое, когда это трекер ваших передвижений как Moves. Сообщество не занимается анализов всех активностей мобильных приложений — их слишком много, это слишком трудно и от этого можно спрятаться. Поэтому HTTPS реальный рубикон здесь.
                                                              • 0
                                                                Простите, а что они должны делать?
                                                                Как по мне — это вечная борьба — корпорации VS geek.
                                                            • 0
                                                              Отвечу по теме. Там ip-адрес 192.168.0.0, подключено все по Wi-Fi. Будь я на месте приложения — я бы, как минимум, проверял эти факторы, прежде чем передавать value data. А мог бы сначала посмотреть на src.ip со стороны сервера, проверить тип NAT, убедиться, что это доверенная зона партнёра, что человек сейчас идет по улице или едет на автомобиле.

                                                              И вот все это делать проще под покровом SSL.
                                                              • 0
                                                                Эти проверки придётся выключить. Провайдеры абонентам мобильного интернета почти всегда выдают серые IP в зонах 192.168 или 172.16, поэтому адрес совершенно обычный.

                                                                Проверить, что человек идёт по улице — как? Если GPS выключен, не собирать аналитику, что-ли. Это большая часть информации не будет собрана
                                                                • 0
                                                                  Слушайте, ну это ведь то, что я сходу придумал. Вон, Skype на десктопе упорно не поддавался дизассемблированию много лет. Это ведь не вопрос конкретной техники, а наличия принципиальной возможности, которая, если будет бизнес-задача, непременно найдет своё конкретное применение, если уже не нашло.
                                                                  • 0
                                                                    Имея дело с софтом, я понял простую вещь — любая, хорошо скрытая фича или бага будет обнаружена юзерами, если их будет очень много. Просто по закону больших чисел что-то пойдёт не так, как предусматривал программист. А всё предусмотреть невозможно.
                                                                    • 0
                                                                      Сначала джейл IOS 7 — потом утверждение, что найдут. Кроме Скайпа есть прекрасный пример PS3, которую несколько лет не могли взломать. В этих условиях вы либо передаете все в открытом виде, либо ощущаете в себе безграничную власть.
                                                                      • 0
                                                                        джейлы типа есть, но в паблик пока не утекли

                                                                        аналогичная ситуация была с S-OFF на HTC One DS на HBOOT версии 2.26, первое время фарцовщики за денежку делали процедуру, а потом софт утёк
                                            • +5
                                              Какой-то странный вывод. Что мешает спецслужбам увидеть сам поисковый запрос и скореллировать выдачу с переходом?

                                              Причину выше уже озвучили: не дать возможность кому-либо кроме самого Яндекса размещать рекламу таргетированную по поисковым запросам. Хочешь рекламировать шубы тому, кто искал шубы — покупай директ.
                                              • 0
                                                Вы правы, конечно, на счёт мотивов Яндекса. Я просто пытаюсь додумать, как выглядит эта «защищённая» картина мира по Яндексу. Можно сказать, что сам запрос к яндексу может быть по https, а вот переход на внешний сайт — он уже будет по http. Поэтому раньше можно было из этого http выдрать инфу, а теперь нет.
                                                • +1
                                                  Основные браузеры не передают Referer при переходе с https в http.
                                                  • 0
                                                    Тогда, конечно, суть теряется совсем :)
                                          • +48
                                            Еще одна причина для яндекса поступить подобным образом это помешать конкурентам на рынке рекламы получать ту самую желанную информацию о пользователе. Конечно, всегда можно подключиться к яндекс метрике и тем самым помочь самому яндексу со сбором все той же самой информации. Справедливости ради стоит отметить, что это относится не только к яндексу, уверен, что гугл уже давно так делает.
                                            Про заботу о конфиденциальности пользователей, к сожалению, я не очень верю.
                                            • +5
                                              Подключение к Я.Метрике не одному рекламному сервису для оттачивания своих таргетов на пост-поисковых запросах нисколько не поможет. Это просто убийство одного из важных для таргетинга факторов (у конкурентов). Все потому, что многие тизерные и баннерные сети используют пост-поиск для более точного нахождения пользователей и увеличения конверсий. Про заботу о пользователях – бред, данные то обезличенные.

                                              Но, в данном случае Яндекс можно только похвалить – давно пора было. Бизнес есть бизнес, с чего бы это ему делиться своими данными с конкурентами?

                                              Единственное, как по мне, так надо было без всех этих соплей про заботу о пользователях, эксперименты и т.п., просто сразу отключить передачу пост-поиска и все.
                                            • +14
                                              Мы разрабатываем Online-консультант. Там есть возможность в качестве автоприветствия для пользователя использовать конструкции типа: «Здравствуйте! Вы ищите [searchKeyword]? Я готов вам помочь!»

                                              Ну и, конечно, собираем попутно статистику по поисковым системам и поисковым запросам, по которым приходят люди, отображая ее в личном кабинете владельцев сайтов в виде графиков и таблиц.

                                              Спасибо, Яндекс. Ты всегда думаешь о нас. В заботу о пользователях — не верю.
                                              • +2
                                                Плюс ко всему ломается фича под названием «Целевые посетители», особо помечающая пользователей, которые ввели в запросе, к примеру, слово «купить». Консультанты могли сразу же выделять интересного человека из общей массы и начинать горячую продажу. Теперь же — балалайка.
                                                • +18
                                                  С одной стороны я вас отлично понимаю, но с другой стороны вы построили свой интерфейс на чужом бизнесе, с которым нет договора или оплаты ему. Хорошая новость — вы ничего не должны яндексу, плохая — яндекс вам то же ничего не должен.
                                                  • +1
                                                    То, что я описал — всего лишь маленькая фича из построенной системы. Её потеря — очень досадная мелочь, но это безусловно можно пережить.

                                                    То, что никто никому ничего не должен — это понятно. Но одобрить такое поведение яндекса я не могу.
                                                    • 0
                                                      Одобрить не можете. Из любопытства ради спрашиваю, а понять такое поведение можете?
                                                      • +3
                                                        Безусловно, ведь акулий капитализм и мне не чужд :)
                                                        • +4
                                                          про другой капитализм я не слышал.
                                                    • +9
                                                      Поисковые системы тоже построили свой интерфейс на чужих бизнесах, с которыми у них нет ни договора ни оплаты.
                                                      • +1
                                                        Вы и правы. Но если вы измените свой сайт и его API, Яндекс не обидеться. Меня скорее волнует, что у нас нефть всем принадлежит, а я с нее ничего не получаю.
                                                    • +10
                                                      Слово «купить» в поисковом запросе совершенно необязательно обозначает желание пользователя купить что-то. Я, например, часто его использую для отсекания из выдачи не-магазинов, когда мне надо выяснить среднюю цену по рынку. Хотеть купить при этом я могу вообще что-то другое и попытки «горячей» продажи в этом случае жутко бесят.

                                                      Честно говоря, уже основательно достали все эти технологии впаривания на каждом углу. Хотите, чтобы к вам тянулись клиенты? Сделайте удобный магазин, сделайте в нём нормальные цены и хороший ассортимент. И никому ничего не впаривайте. Потому что все эти технологии хоть и поднимают конверсию в краткосрочной перспективе, в долгосрочной они её убивают. Даже если мне очень сильно припрёт что-то единожды купить в магазине, где мне пытаются что-то впарить, в следующий раз я туда просто не вернусь.
                                                      • +2
                                                        Наше дело — просто предоставить инструмент. Как им распорядиться — навязчиво и грубо, или ласково и по-доброму — это уже дело интернет-магазина. Молотком тоже можно забивать гвозди, а можно — людей.
                                                    • +6
                                                      Вы ищите


                                                      Так прямо и написано? Хорош консультант.
                                                      • 0
                                                        Написано будет так, как задаст администратор сайта :) Мой пример быть может не особо удачен, но я хотел лишь донести суть. Умением красиво излагать мысли не обладаю, увы.
                                                        • +1
                                                          > Умением красиво излагать мысли не обладаю, увы.

                                                          Ну вы хоть орфографию подучите.
                                                          • +2
                                                            Кто ещё в очередь, чтобы потыкать носом в очепятку в комментарии? Подходи по одному, я сегодня добрый :) Пройти мимо невозможно, я согласный.
                                                        • 0
                                                          А фраза «Яндекс не обидеться» Вас нисколько не смутила?)
                                                        • 0
                                                          Странно, а зачем вы разрабатываете инструмент для исчезающего рынка? Без реферальных данных он работать не сможет, а реферальные данные Гугл начал скрывать 2 года назад. Тогда это было делом добровольным (руками нужно было вбивать encrypted.google.com), но постепенно становится принудительным. И ясно было с самого начала, что остальные поисковики последуют за Гуглом.

                                                          Что вы будете делать, скажем, через полгода, когда «эксперимент» Яндекса завершится успешно для «приватности», и процент визитов с реферальными данными от поисковиков снизится до 0,001?
                                                          • 0
                                                            Ничего трагичного в этом не вижу. Все же главная функция онлайн-консультанта — общение с посетителем. Статистика поисковых запросов — это просто приятная мелочь. Почему бы не подарить возможность использовать её своим клиентам, пока все не последовали примеру Гугла, сколько бы времени ни осталось. А выпилить фичу из интерфейса всегда успеть можно, дело не хитрое.
                                                        • +45
                                                          Если уж о пользователях заботитесь, то обнуляйте вообще реферер. А то на данный момент это выглядит как попытка нагадить конкурирующим системам статистики тем, что ваша Я.метрика эти запросы сможет обратно расшифровывать, а решения конкурентов не смогут.
                                                          • 0
                                                            Ждем иска в антимонопольный от ливинтернета?
                                                            И кстати Яндекс, если вы уберете всякие идентификаторы и начнете передавать инфу в обход, через сервера, сути это не изменит. Даже если вы удалите эту статью и удалите ее в своем кэше…
                                                            Даже если скриншотов не останется, и у гугла кэш тоже обнулится… Всё равно будут свидетели что вы господа озвучили свои планы — злоупотребляя монопольным положением оставить информацию о поисковых запросах только в своей системе, убив такую фичу у конкурентов. И то что таким образом будете бороться с контекстной рекламой конкурентов тоже…

                                                            Единственное честное решение будет сделать АПИ чтобы делиться с конкурентами. Пусть даже для пользователя нужно будет делать подтверждение что он согласен делиться этой службой, а счетчикам давать только обезличенный список запросов с колвом переходов за день.

                                                            ПЫСЫ: и да, я всё еще злой на вас за АПИ. Поиск копий им не понравился видите ли…
                                                            • +4
                                                              Стоп, а разве все данные, вводимые в Яндексе, должны передаваться конкурентам? Это с какого перепугу и при чем тут монополия? Есть еще Гугл, ряд некрупных поисковых систем – пользуйтесь на здоровье, что называется. Может тогда и любой интернет магазин обязан, в целях анти-монополии, передавать куки своих покупателей конкурентам?
                                                              • 0
                                                                Не вопрос конечно, но тогда списка поисковых запросов не должно быть в метрике. Только в вебмастере. появление в метрике это злоупотребление монопольным положением. В принципе вариант того что они выпилят его оттуда тоже нормальный.
                                                                • +2
                                                                  Вы уж меня извините, но логики я не прослеживаю здесь нисколько. При чем тут монополия вообще? Яндекс, как частный бизнес, никому и ничего не должен. Действует исключительно в своих интересах. Если вы сделаете поиск по своему сайту, вы что, потом все данные с этого поиска будете обязаны, в целях анти-монополии, предоставлять всем желающим? И если скажите, устанавливайте наш код – и вы увидите доп.данные переходов – это будет нарушением анти-монопольного закона? Компания сделала шаг в сторону сохранения данных (своих, между прочим) внутри себя. Они же не единственные на рынке, и выбор есть, так что ни о какой монополии речи быть не может.
                                                                  • +1
                                                                    Майкрософт тоже частная компания, и если она решила что на ее операционке должен стоять ее браузер, то что может ей помешать? Какая монополия, о чем вы? Ведь есть же и другие операционки…
                                                                    • +2
                                                                      С МС — это скорее казусы европейского законодательства. Альтернативы есть, какая монополия?
                                                                    • 0
                                                                      Они нарушают целостность Сети, не следуя RFC.
                                                                      • 0
                                                                        Referer — опциональное поле заголовка. Более того, RFC предупреждает о потенциальной утечке приватной информации через Referer и прямо рекомендует в таких случаях резать его совсем.
                                                                        • 0
                                                                          Покажете номер RFC и конкретный параграф в нем, который запрещает в URL держать шифрованные данные?
                                                                          • 0
                                                                            www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.36

                                                                            allows the client to specify, for the server's benefit, the address (URI) of the resource from which the Request-URI was obtained

                                                                            Referer = «Referer» ":" ( absoluteURI | relativeURI )

                                                                            Referer это зона ответственности клиента в интересах сервера на который происходит переход.
                                                                            • 0
                                                                              Никто не запрещает клиенту передавать Referer. Он его и продолжает передавать. Я спросил, какой RFC запрещает иметь в URL шифрованные данные.
                                                                              • +3
                                                                                Это сводит на нет смысл заголовка, не противоречит букве, но противоречит духу. Заголовок введен в интересах сервера, на который происходит переход, а не в интересах сервера с которого происходит переход.
                                                                                • 0
                                                                                  Заголовок веден в интересах приложения на сервере-получателе, это так. Но никто не сказал, что интересы сервера-получателя являются непререкаемым правом. Например, OWASP считает, что важные данные в URL надо шифровать: www.owasp.org/index.php/How_to_protect_sensitive_data_in_URL's
                                                                                  • 0
                                                                                    Надо, никто не спорит. Но если сервер-получатель может их расшифровать — иначе для кого шифровать?
                                                                                    • 0
                                                                                      Я правильно понял, что если убрать реферер целиком, проблемы не будет?
                                                                                      • 0
                                                                                        Для сервера-получателя без разницы зашифрован реферер так, что он расшифровать не может, или отсутствует. Проблема одинакова — сервер не может определить по какому поисковому запросу пришел посетитель, потому что посетитель переходит на сервер не по ссылке на сервер, а через редирект, что само по себе нарушает дух гипертекста.
                                                                                        • +1
                                                                                          сервер не может определить по какому поисковому запросу пришел посетитель, потому что посетитель переходит на сервер не по ссылке на сервер, а через редирект, что само по себе нарушает дух гипертекста.
                                                                                          Вы что-то странное пишете. Цель, как сказано выше, в этом и состоит — не показывать серверу поисковый запрос пользователя.

                                                                                          Но редирект тут не при чём: стандарт HTML5 признает право одной страницы запретить передачу реферера при переходе по ссылке на другую страницу. Ровно потому, что в URL может содержаться информация, которую исходная страница не хочет сообщать получающей (об этом, как я выше показал, говорит и OWASP). Таким образом, в самом запрете видеть поисковый запрос ничего, нарушающего стандарт, нет. Я специально вас спросил, есть ли разница между полным запретом запроса и его шифрованием. С ваших слов — разницы нет.

                                                                                          Раз шифрование поискового запроса по сути равносильно совершенно стандартной ссылке с type=noreferrer, то никакого нарушения буквы или духа стандартов в шифровании нет, как бы вам этого не хотелось.
                                                                                          • 0
                                                                                            Как-то упустил подобный момент. Не думал, что w3c допустит подобное ещё когда тот же Яндекс вводил <noindex> или как там его. Расстроили вы меня на ночь глядя :(
                                                                    • +2
                                                                      А данные вводятся не в Яндексе, а в браузере. И передача этих данных обычный механизм работы Сети (RFC 2616).
                                                                      • 0
                                                                        На самом деле проблема не в referer (который в любом случае передаётся), а в том, как кодировать поисковый запрос в GET-параметрах. Нигде же не написано, что эти данные должны быть в определённой кодировке и человеко-читаемы.
                                                                        • 0
                                                                          Проблема в том, что переход по результату запроса происходит не напрямую, а через редирект. Когда это происходит прозрачно, то ещё полбеды, но теперь Яндекс хочет убрать прозрачность.
                                                                • +6
                                                                  Это немного навредит веб-мастерам, анализирующим еще и самостоятельно реферальные ссылки приводящие на ресурс и соотв. поисковые фразы. Про Яндекс.Метрику в курсе, но она не панацея.
                                                                  Не, я конечно понимаю, что Гугл это уже сделал, но признаться положительные эмоции это не вызывает.
                                                                  Скрывать откуда пришел пользователь на ресурс для владельца ресурса как то в чем профит?
                                                                  Не персональные же данные скрываются, а простые житейские запросы, которые ценны для анализа эффективности поисковой оптимизации к примеру.
                                                                  • 0
                                                                    Мы для того и проводим эксперимент, а не включаем сразу на 100%, чтобы понять, кого и как мы можем задеть и услышать какие-то конструктивные предложения, как мы можем помочь вебмастерам делать хорошие персонализированные сервисы, но не раскрывая непосредственно текст запроса каждого конкретного пользователя.
                                                                    • +2
                                                                      Ну вот уже слышите доводы, а тем временем 2% переходов уже стали темными лошадками с непонятными намерениями.
                                                                      Вы ведь в курсе про все более и более популярный метод рассылки спама и рекламы через реферальные ссылки? Точнее заголовок REFERER. Вот надо как то отделять мух от котлет в т.ч.
                                                                  • +3
                                                                    Может предоставить пользователю самому решать, что куда передавать?
                                                                    Сделать кнопочку в настройках яндекса и написать, что если у вас параноя — нажмите, но этим вы ограничите возможности сайта на который переходите, а именно…
                                                                    • –11
                                                                      К сожалению, пользователи задумываются о том, что не хотели бы, чтобы определенные их интересы известны третьей стороне, зачастую, уже после того, как это случилось. Opt-out настройка никак не решит эту проблему.
                                                                      • +37
                                                                        А чегож ваши коллеги её на софте который яндекс-бар ставит по умолчанию не выключают?
                                                                        Там почему забота о пользователях не проявляется? :D
                                                                        • +3
                                                                          То, что вы написали, считаю бредом (извините за откровенность).

                                                                          Я не знаю, какой вариант стоит сейчас у гугла по умолчанию, но, в любом случае, несколько десятков процентов посетителей приходят с гугла всё ещё с ключевыми фразами. И этого хватает, чтобы ухватить тренды. Если вы уберёте 100% рефереров, любой более-менее интеллектуальный анализ данных будет невозможен. Да, вы таким образом подсадите людей на свою аналитику, но всем понятно, что это чистой воды конкурентная борьба за данные и попытка насильно привязать пользователя к своим сервисам. Кармически это, наверное, очень хреново :-) И да, если хотя бы 20% посетителей по своему выбору оставили бы referrer-ы как сейчас, этого для какого-никакого анализа было бы вполне достаточно.

                                                                          Это всё я вам пишу как разработчик довольно сложной аналитической системы, которая даёт мне информацию о поведении пользователей на моём сайте, которую я сейчас использую в дополнение к GA и YM.
                                                                          • 0
                                                                            С рефералом приходят те, кто не залогинен в гугл. У авторизованых гугло-пользователей все шифруется (если сам не выключил)
                                                                            • +2
                                                                              У вас устаревшая на пару месяцев информация. Гугл отправляет на https-версию независимо от залогиненности. На http оставляют всякие экзотические браузеры, всего около 15-20%.
                                                                              • 0
                                                                                Спасибо. Не обращал внимания, т.к. процент людей без запроса из гугла визуально вроде не поменялся.
                                                                                • 0
                                                                                  У вас странная статистика. Либо у вас большая доля экзотических браузеров, либо в статистике фальшивые переходы. Визуально процент очень поменялся: www.notprovidedcount.com/
                                                                                  • 0
                                                                                    Меня интересовали именно запросы, которые я налету мог расшифровывать. И именно на глазок, статистику не строил. Вы, вероятно, более чем правы.

                                                                                    Кстати, раз вы в теме. Вебмастер-тулз показывают все запросы? Или в нём (not provided) просто не отображаются?
                                                                                    • 0
                                                                                      В данном случае не очень в теме.
                                                                      • +34
                                                                        Яндекс это сделает только по одной причине — не хочет отдавать данные гуглу. А в статье звучит какой то бред о защите пользователя.
                                                                      • +13
                                                                        Мне нравятся сайты, при переходе на которые из поисковых систем, они предлагают мне то, что я искал. Делать они могут это по разному, либо просто подсвечивать текст на странице, который я искал, либо подгружать релевантную информацию в виджетах. Теперь мне не нравится яндекс.
                                                                        • +10
                                                                          А мне приходится нажимать F5, только чтобы снять это дурацкое выделение. Невозможно читать текст, когда в нем половина слов раскрашена всеми цветами радуги…
                                                                          • 0
                                                                            Это зависит от конкретной реализации, а она зависит от разработчика\заказчика и может быть им изменена (пользователь тоже может повлиять на изменение). Но в данном виде, ни владелец сайта, ни пользователь, не могут повлиять на ситуацию, и это печально.
                                                                        • +1
                                                                          У меня интернет-магазин
                                                                          Когда новый клиент делает заказ, я всегда вижу в админке по какому запросу он пришёл, и на основании этой информации менеджер уже уточняет или не уточняет у клиента как он узнал о нас.

                                                                          Т.к. 90% процентов людей отвечают на этот вопрос «Из интернета», а информации о том, а как же конкретно он нас нашёл теперь не будет, то я посылаю «лучи добра» Яше!

                                                                          И как уже сказали выше, какой смысл вначале шифровать поисковый запрос, а потом его же показывать в метрике?
                                                                          • 0
                                                                            И как уже сказали выше, какой смысл вначале шифровать поисковый запрос, а потом его же показывать в метрике?

                                                                            В метрике запрос показывается среди множества других запросов без привязки к конкретному IP или куке.
                                                                            • +1
                                                                              Т.е вебвизор вы тоже закроете? Иначе в нем практически никакого смысла не будет. Разве что тестировать посадочные старницы. Но без доп инофрмации о запросе это малоценно
                                                                            • +2
                                                                              Объяснили выше, чтоб Гугл не узнал. Ну и монетизиовать как-то эту информацию, но это думаю вторично.
                                                                              • +1
                                                                                Мы готовы рассмотреть вопрос о передаче нужной для работы Analytics информации в Google, если они, в свою очередь, будут взаимодействовать с нами.
                                                                                • +18
                                                                                  Вы понимаете, что это не реально, но зачем-то озвучиваете :)
                                                                                  • +2
                                                                                    + как то даже не серьёзно со стороны яндекса токую чушь писать ;)

                                                                                    То островами у всех оттяпаем кусок, то чужие системы статистики прижмем. Всё в лучших традиция монопольной вертикали.
                                                                                    Все должны только на ладах калинах ездить, а кто против… отключим газ. Фу яндексу.
                                                                                    • 0
                                                                                      Моё личное и неофициальное мнение: не всегда стоит искать злой умысел или заговор в случаях, когда есть более очевидное объяснение, особенно, если оно уже было озвучено.
                                                                                      • +4
                                                                                        То, что было озвучено — чепуха, а не объяснение..;)
                                                                                        • +4
                                                                                          Как раз со стороны Яндекса логично почему он хочет это сделать, но вот ваше объяснение…
                                                                                          Возможно, лично вас просто не просветили в реальную причину?
                                                                                    • +1
                                                                                      А кроме GA, другим системам статистики, вы готовы передавать информацию?
                                                                                      • –3
                                                                                        А top.mail.ru?
                                                                                      • 0
                                                                                        А вы пытались с ними договариваться?
                                                                                        Или только с некоторыми провайдерами о предоставлении вам гугловского поискового трафика? :)
                                                                                    • 0
                                                                                      Если я вас правильно понял, то ваша проблема решаема Настройте Google Analytics Конверсия — Электронная Торговля. Будет примерно так (приложил). Проще говоря, сможете отслеживать суммы и источники, номера заказов, категория продукта и само название продукта то же передаются.

                                                                                      image
                                                                                    • +6
                                                                                      Что только не сделаешь, лишь бы не переходить на HTTPS…
                                                                                      • +4
                                                                                        А толку? Разве в HTTPS нет referer? Скажем, зашел я на Яндекс, сделал запрос «OpenMW Wikipedia», перешел на https-ссылку в Вики. Разве при этом Википедия не получит referer?

                                                                                        Disclamer: Извините, если вопрос глупый, я и правда на данный момент не знаю, есть ли в HTTPS referer. =)
                                                                                        • –2
                                                                                          1) зайдешь ты на Яндекс сразу по https и установится безопасный канал перед передачей какой-либо информации между тобой и Яндексов
                                                                                          2) При переходе на Википедию (например), неважно по какому протоколу http или https, у тебя будет пустой реферер — это особенность протокола
                                                                                          и тут придется делать обратную работу — восстанавливать реферер для таких поисков
                                                                                          • +2
                                                                                            Полуправда. rfc2616 повествует:
                                                                                            Clients SHOULD NOT include a Referer header field in a (non-secure) HTTP request if the referring page was transferred with a secure protocol.

                                                                                            Таким образом, referrer по умолчанию не работает только для перехода из https в http.
                                                                                            Яндекс не индексирует Википедию по HTTPS. Вы, конечно, можете поставить HTTPS Everywhere или RefControl, но это не поможет другим пользователям.
                                                                                            У Яндекса уже есть https-версия — yandex.ru. Жаль, что она не по умолчанию.
                                                                                            • –2
                                                                                              Offtopic
                                                                                              Вы, конечно, можете поставить HTTPS Everywhere

                                                                                              Давно поставил. И HTTPs finder, а заодно NoScript, FlashBlock, RequestPolicy… И другим советую. =)
                                                                                        • +2
                                                                                          Именно поэтому текст запросов не удаляется из реферера совсем, а передается в зашифрованном виде


                                                                                          Немного не понимаю, если я не смогу его расшифровать что бы узнать поисковый запрос, то тогда зачем вообще его передавать?

                                                                                          А если я смогу его расшифровать, то значит и всякие виджеты и т.д и т.п тоже смогут это сделать, а значит ничего не изменится?

                                                                                          Я не силен в шифровании, но как вариант:
                                                                                          Для каждого ресурса генерировать ключ, с помощью которого я смогу расшифровывать запрос. Таким образом, поисковый запрос будет зашифрован, я как владелец ресурса смогу его расшифровать, а сторонние виджеты (третье лица) ничего не будут знать о этом запросе.

                                                                                          Как я понимаю цель всего этого, что бы только владелець ресурса мог знать что за поисковый запрос был использован?
                                                                                          • –2
                                                                                            В шифрованном виде текс запроса передаётся для того, чтобы Метрика могла его учитывать и правильно отслеживать цели/конверсии и т.п.
                                                                                            • +4
                                                                                              А если я сам себе статистику собираю, не подключая метрики, аналитики и так далее?

                                                                                              Почему кому то можно видеть запрос, а мне как владельцу ресурса нельзя?

                                                                                              Да, вы уточняли про Яндекс.Вебмастер, но ведь часто бывает необходимость этот запрос обрабатывать на лету, как выше уже уточняли про выдачу дополнительной полезной информации, для онлайн-консультантов который смогут знать что ищет пользователь и посоветовать ему и так далее.
                                                                                              • –6
                                                                                                Допустим, что вместо поисковой фразы «телевизор Sony» будет передаваться какой-то обобщенный интерес, например «бытовая техника» или даже «телевизоры». Это решило бы вашу проблему с онлайн-консультантами и помощью пользователю в выборе?
                                                                                                • 0
                                                                                                  Возможно, но это частный случай.

                                                                                                  Но в запросе может быть и другая полезная информация, как город или возможно даже желаемая цена. По типу: «Купить телевизор в Рязани» или «Холодильники до 40000 руб»

                                                                                                  Но опять же, это всего лишь частный случай с консультантами и магазинами. Бывают разные причины, по которым требуется обрабатывать запрос.

                                                                                                  Мое мнение, что владелец ресурса должен знать о запросе.
                                                                                                  А вот как огородить этот запрос от сторонних лиц (виджетов, чужих метрик и так далее), это уже другой вопрос.
                                                                                                  • +3
                                                                                                    Ну ведь определенно — нет!
                                                                                                    Если клиент приходит за телевизором Сони, ладно ему еще можно предложить телевизор Самсунг, но вряд ли у клиента сложится хорошее впечатление о консультанте, если тот предложит клиенту телевизор Ролсен.

                                                                                                    Если передаете рефер в зашифрованном виде, дайти владельцам сайтов возможность расшифровать эту информацию. Что бы она не попадала к левым сборщикам, виджетам, и пр. Но не страдал владелец сайта.
                                                                                                    • +1
                                                                                                      Кстати, Яндексу это легко реализовать. Например, каждому сайту, подключенному к метрике дать свой уникальный ключ шифрования. Тогда владелец сайта сможет этим ключом расшифровывать все рефереры, предназначенные только для его сайта. Никто другой эту информацию не увидит.