15 февраля 2011 в 00:02

Новое расширение для Chrome: удаляйте сайты из поисковой выдачи Google

Мэтт Каттс — тот самый, который недавно размышлял о спаме — сегодня представил новый способ борьбы с сайтами с низким уровнем контента, созданными специально для продвижения в поисковых системах и получения дохода от рекламы.

Он предлагает пользователям Chrome установить экспериментальное расширение Personal Blocklist, позволяющее удалять сайты из поисковой выдачи Google. Расширение будет посылать в Google информацию о заблокированных сайтах, а Google будет изучать полученную информацию и использовать её в качестве одного из критериев для общей фильтрации поисковой выдачи.

Выглядит это так:



Когда вы удалите сайт с помощью этого расширения, вы больше не увидите этот домен в поисковой выдаче Google. Если вы передумаете, то в любой момент сможете отменить удаление сайта в нижней части страницы с поисковой выдачей:



Вы также можете редактировать список заблокированных сайтов, нажав на значок расширения в верхней правой части окна Chrome:



Расширение доступно на английском, французском, немецком, итальянском, португальском, русском, испанском и турецком языках.
Александр Андрейко @aleksandrit
карма
57,1
рейтинг 0,0
Самое читаемое Разработка

Комментарии (76)

  • +20
    Главное, чтобы это не стало инструментом «чёрной» конкурентной борьбы.
    • 0
      Я думаю, что накрутку очень легко будет отслеживать.
      • +6
        Как? Ваши предложения.
        Допустим у меня ботнет, и хомячки рендомным образом сами того не подозревая удаляют из выдачи какой-то неугодный мне сайт по просьбе его щедрого конкурента.
        • 0
          «Расширение будет посылать в Google информацию о заблокированных сайтах, а Google будет изучать полученную информацию и использовать её в качестве одного из критериев для общей фильтрации поисковой выдачи.»
          • +1
            Я это уже в топике прочитал. Вы что-то этим хотите сказать? Так скажите прямо.
            Что до выделенного текста, то мне кажется, что любому ёжику очевидно, что этот критерий не станет сразу единственным для ранжирования. =) А вот выделив слова «будет изучать» мне вообще не ясно, что вы хотели этим сказать.
            • 0
              То и хотел — Гугол перед баном будет изучать присланное. Возможно, ручная модерация. Возможно, углубленный анализ по каким-то критериям. Т.е. юзер только помечает то, на что следует обратить внимание (и, естественно, убирает у себя), а Гугол рассматривает и принимает финальное решение.

              Думаю, слова «ботнет» и пр. Гуголу знакомы.
              • +2
                Когда я задал вопрос «Как?», я никак не недеялся услышат в ответ: «Возможно, углубленный анализ по каким-то критериям.» Может быть у Вас есть более конкретные предположения. Про ручную модерацию — это сильно. Сейчас вполне возможно, что так и есть, но если инструмент приживётся, то он будет иметь очень высокую попопулярность и обрабатывать его результы вручную будет просто невозможно. Конечно, будут применяться различные «умные» критерии. Уверен, что если в течении одного часа или даже дня вдруг бабахнет тысячи или даже сотни тысяч сигналов, то это не сработает. Другой вопрос, если сигналы будут поступать с интенсивностью схожей на настоющую интенсивность удалений действительно недобросовестных сайтов, то тут уже должно всё работать.

                Я вот предполагаю такой способ борьбы с недобросовестной конкуренцией. В момент или даже перед общегугловской фильтрацией какого либо сайта, автоматически на емейл владельца домена будет поступать письмо с информированием об этом, где будет указан емейл для высылания своих объяснительных. И вот уже обработка объяснительных может делаться вручную.
                • 0
                  Вы, в общем-то, сами ответили на свой вопрос.

                  Единственное, я бы не стал преуменьшать возможности ручной модерации — определить «плохой» сайт весьма просто, один человек сможет банить сотни таких сайтов ежедневно.

                  Что касается автоматического анализа, то, на мой взгляд, он будет целевой, например, псевдопоисковикам можно скармливать бессмысленные фразы, группы помоек вычислять по ссылкам, общему шаблону и т.д.

                  Конечно, стоит вопрос ресурсов на всё это. Я вижу в такой фильтрации очередную и ожидаемую ступень эволюции поисковиков, поэтому верю в то, у Гугола ресурсов хватит.

                  Как оно будет на самом деле — вопрос к Гуголу, если, конечно, он захочет делиться такой информацией.
                  • 0
                    А я и не стал «преуменьшать возможности ручной модерации». =) Я только намекаю на её дороговизну. Простите, но сотни сайтов в день — это маловато. А самое главное стоит ли они того. Стоимость автоматизированнного создания недобросовесностного сайта значительно ниже, чем стоимость его удаления вручную. Кто будет из свого кармана это оплачивать?
                    • 0
                      Нет задачи вычистить весь интернет. Топа достаточно.
                      А оплачивать, как это уже заведено, будут рекламодатели.
                    • 0
                      А Вы думаете для чего в гугл нанимает столько новых рабочих? =)
                      • 0
                        Я об этом не думаю. =)
                • 0
                  Мне кажется у Гугла есть много наработанных методик для частотного анализа, поднаторели со скликиванием adwords.
                  • 0
                    Ктобы сомневался. Но те кто занимается «скликиванием» ведь тоже много опыта набрали и тоже поднаторлели. Системы защиты и системы нападения/взлома всегда развиваются параллельно. Это всегда нужно учитывать и поэтому никогда не стоит расслабляться.
        • 0
          Хорошо, что сейчас это плагин и он только под хром. Уверен, что в ботнете процент пользователей, пользующихся хромом мал, т.е. в адварных целых его не поюзаешь и как ДДОС не сможешь использовать. Если Google все правильно сделает и закроет глаза на то, что удаляют пользователи (а это логично), то плагин будет очень полезным для рядовых пользователей.
          • 0
            От реализации зависит. Если достаточно всего один пакетик послать, то и хром с плагином не нужен, чтобы это сделать.

            Ну вот Вы думаете, что правильно — это закрывать глаза на эти действия пользователей, а я думаю, что действительно неплохо бы удалять из общей выдачи хлам, основываясь на мнении большого количества людей.

            Вот такой я наивный и хочу сделать мир лучше. Поэтому получая спам, я всегда жму кнопочку спам, а потом удалить, а не просто удалить. Я надеюсь на то, что это поможет сделать так, чтобы другие этот же спам не получили. А если так будут делать другие, то и я буду получать значительно меньше спама.
            • 0
              получая спам, я всегда жму кнопочку спам, а потом удалить, а не просто удалить
              Благодаря гуглу у вас есть замечательная возможность сэкономить ресурс кнопок мыши и совместить эти действия в одно ;)
              • 0
                Суть не в том, сколько кнопочек я жму, а в том, какие. Причём тут Гугл? Я говорил не только про мыло, а я говорил в общем. Это касается и соощений в различных соцсетях, форумах, блогах и др.
                • 0
                  При том что в гуглопочте, а также на всех остальных адекватных сайтах, кнопка «спам» удаляет сообщение.
                  • 0
                    Нет. Не удаляет, а переносит в папку «Спам».

                    Я ещё раз повторю, что мы не обсуждаем тут количество нажатых кнопок. А то какие кнопки нажимать, и какой из этого вытекает результат.
                    • 0
                      Непосредственная связь между этими вещами:
                      1. Если кнопка «спам» не удаляет письмо, то у юзера 2 варианта: нажать «удалить» или нажать «спам», потом «удалить».
                      2. Если удаляет, то нажать «удалить» или нажать «спам».

                      Разница в усилиях в первом варианте двухкратная, в первом никакой. Разница в результате в обоих вариантах маленькая, но есть: если спамфильтр тренировать, то есть шанс, что в будущем будет проходить меньше спама.

                      В итоге получаем, что нормальному юзеру выгоднее всего в первом случае нажимать «удалить», а во-втором — «спам».
                      • 0
                        Есть ещё как минимум третий вариант: я читаю почту с помощью TheBAT и для удаления жму Shift+Del, а для того, чтобы пометь как спам, мне нужно зайти на www.gmail.com, поставить галочку на против письма, нажать кнопку спам, а потом ещё когда-нибудь удалить его ещё и из папки Спам. О возможности такой разнице Вы видать даже и не предполагали, но тем не менее я не «нормальный юзер».
                        • –1
                          Я собственно об этом и написал в самом первом комментарии: пользуйтесь веб-интерфейсом, не придется выбирать.

                          потом ещё когда-нибудь удалить его ещё и из папки Спам
                          а вот это точно лишняя операция
                          • 0
                            С чего это Вы решили, что знаете, что для меня лучше?!
                            Я лучше сотню писем прочитаю удобно и одно неудобно помечу спамом, чем наоборот. =)
                            P.S. Очищать папку спам — это не лишняя операция. Я в спаме бывает нахожу нужные письма, а вот просматривать одно и тоже — это потеря времени.
                            • 0
                              Спор ни о чем. Продолжайте создавать себе трудности и с гордостью их преодолевать.

                              ПС пользуйтесь IMAP
                              • 0
                                Ну и не надо было Вам его начинать.
                                Я так вообще не люблю споры. Я дискутирую.
                                P.S. IMAP добавит в TheBAT кнопочку «Спам»?
                                • 0
                                  Да, кнопочка будет называться «перетащить пиьсмо в папку Спам»
                                  • 0
                                    Спасибо. На досуге проверю, как это работает.
            • 0
              Немного повторюсь, большое количество пользователей — это может быть ботнет. Умный ботнет. С поведением как у настоящих людей. И с помощью такого ботнета можно легко убить конкурентов в выдаче Google по высокочастотным ключевым словам.
              • 0
                Я не понял, зачем Вы повторились. МОжет быть тогда хотя бы поподробнее расскажете, как это так легко делается?
    • +13
      Так это же только из собственной выдачи удалит. Какая конкурентная борьба?
      p.s. Наконец-то я избавлюсь от experts-exchange!
      • +3
        Цитата: «Расширение будет посылать в Google информацию о заблокированных сайтах, а Google будет изучать полученную информацию и использовать её в качестве одного из критериев для общей фильтрации поисковой выдачи.»

        Если таких удалений будет достаточно много для одного ресурса, то гугл запросто может выкинуть этот сайт из выдачи, как спамовый.
      • 0
        Вручную всю фигню по одному сайту блокировать задолбаешься — поэтому наверняка будут создавать базы контентных ферм, чтобы можно было воспользоваться чужой базой и прибить всех разом (собственно, как с adblock). И вот в популярные базы некоторые наверняка будут пытаться добавить конкурентов.
    • –1
      бугага:)
  • +5
    И иконка не очень удачная — сильно похоже на AdBlock, люди путаться будут.
    • +3
      Да лучше бы её совсем отключаемой, она ж и нужна только при гуглении.
      • 0
        Она в принципе не нужна, ее функциональность надо в «настройки» запихнуть
        • +2
          right click — hide button )
  • +8
    Уже предвкушаю слоганы: «поисковое задвижение», «понижение рейтинга сайта»…
    Сеота уже приготовилась минусить неугодные сайты.
    • –5
      Хороший пример социально-саморегулирующейся-системы — карма на Хабре.
      Всегда найдется мудак умник, минусящий от фанаря
  • +19
    Очень последовательно: сначала убираем SearchWiki, а потом выпускаем расширение, которое делает то же самое.
  • –1
    И тысячи хомячков-линуксоведов будут спускать сервера Гейтса,
    Хомячки-виндузятники валить эплсторе.
    И начнется первая хомячковая война холиваров.
  • +1
    Я хочу такое же себе в Safari.
  • 0
    Вот я щас магазины грохну! >:-) Мало того, что купить книгу просят, так ещё и «нету на складе». А ещё хуже когда гейт на магазин — выходные данные и на этом конец.
  • +15
    Хочу такой же плагин для Firefox: по работе приходится нередко искать весьма специфичные вещи, есть ряд особо назойливых сайтов, гадящих выдачу.
    Ищешь редкую вещь, видишь результат с более-менее подходящим описанием. Заходишь, а на сайте на самом деле просто ведётся лог всех запросов, на странице оказывается текст «Блаблабла не найдено, также у нас искали Блабл4бл4 и 6л46л46л4».
    • +1
      optimizegoogle\options\filter\*fullreleases*
      *ozon.ru*
      *fantlab.ru*
      *bookshunt.ru*
      и так далее.

      1)нет централизованного сервера, коллекционирующего критику
      2)выдача не стирается, а заGREYеватся.

      но это лучшее, что нашёл по данному вопросу.
      • 0
        Э… А что вы имеете против fantlab.ru? Очень полезный сайт и комментарии практически все адекватные.
        • 0
          А я не ищу комментарии.
          И 90% искомых книг там нету, а есть только ссылки на магазины.
          • 0
            Там вообще нет книг, это сайт с библиографиями и комментариями.
            • 0
              В том и суть, что он влазит в выдачу и портит поиск книг.

              Зачастую не по разу (их несколько там страниц — с обложкой, с аннотацией, с листом автора, с комментами и ещё фиг знает с чем)

              Библиографию завсегда проще найти хоть бы даже в педивикии.
    • 0
      вот такие сайты больше всего хочется прибить)
      и вот такие еще… Ищешь, например, «поисковый запрос». На первом или втором месте — «Лана подошла к Аните и медленно засунула в нее поисковый запрос»… К счастью, таких сейчас стало заменто меньше)
      • –1
        Стало даже интересно, какие это вы поисковые запросы запрашиваете что попадаете на такую выдачу :)
        • 0
          Rule 34 и Правило Макмахона. Человек даже не виноват — всё сделали до него и за него.
          • 0
            «Лана подошла к Аните и медленно засунула в нее Правило Макмахона». Эпично.
    • +1
      давно хотел такое написать, вот готова первая версия,

      жду замечаний предложений

      addons.mozilla.org/ru/firefox/addon/personal-google-filter/
  • +1
    А удаление из выдачи идет обычным вытаскиванием элемента из DOM или там какой-то Google earch API используется?
    • 0
      из DOM — где результат выдернут, просто меньше результатов на странице. Если б было реализовано на уровне поисковика — на кол-во результатов на странице не влияло бы.

      Автор расширения Matt Cutts (head of the webspam team at Google) пишет на ycombinator, что они присматриваются к внедрению этого как стандартной возможности поиска.
  • +1
    Кстати, вопрос к сеошникам — считается ли клоакингом выдача поисковому роботу контента сайта, доступного только зарегистрированным пользователям? Пример: demiart.ru — в выдаче часто ссылки на форум, который нельзя читать без регистрации, который тем не менее индексируется ботами — подмена налицо.
    Или вот тот же мерзкий experts-exchange.com (там вообще, кстати, реальные люди отвечают или это агрегатор?). Для таких сайтов очень бы не помешала кнопочка «Убрать из выдачи и забанить!»
    • 0
      А у гугла есть какая-то приблуда, которая предоставляет боту возможность по желанию администратора показывать закрытые разделы. Вполне официальная штука.
      • 0
        Есть. Там надо указать адрес страницы с формой для входа и логин, пароль для входа бота на сайт.
    • +1
      На expert-sexchange между прочим иногда полезные ответы бывают. Редко конечно, но все же.
    • 0
      нельзя читать без регистрации, который тем не менее индексируется ботами

      Если очень хочется, то всегда можно посмотреть «сохраненную копию».
  • 0
    Я все ждал когда это произойдет. Неужели такая сложная мысль, чтобы понадобилось столько лет для реализации ручной модерации силами пользователей.
    • 0
      Уж лучше через открытый каталог с жесткой модерацией, чем вот так.
      • +1
        Конечно напрямую эти данные применять нельзя. Все-таки какой-то анализ должен происходить. Но с другой стороны не так уж сложно обнаружить, что какой-то сайт вдруг стал очень часто отмечаться как «плохой». Т.е. если гугл постоянно учиться отделять купленные ссылки от естественных, то должен научиться грамотно использовать человеческий ресурс.
        Но вообще идея была немного другая. Не отдавать гуглу возможность разбираться, какой сайт действительно людям не нравится, а сделать сервис, где используются «рекомендации» «друзей». Т.е. список пользователей, которым вы доверяете будет использоваться как фильтр. Доверие тоже можно сделать по-разному: 1. просто «зафрендить»; 2. автоматически искать пользователей, которые убирают сайты какие убрали вы; 3. использовать фильтр «по интересам», который тоже может быть автоматическим (на основе того, что вы искали) или с вручную прописанными тегами.
        И так далее. Можно бесконечно развивать эту идею.
        • +1
          Социальный поиск? интересно, на самом деле. Еще бы к Firefox такую приблуду.
          • 0
            Если реализовать такой сервис, то плагин для браузеров будет наверное самой простой частью :)
            Хотя, как мне кажется, можно сделать достаточно просто. Только мощности нужны большие. А супер-сложные алгоритмы не обязательны. Конечно, если это будет поверх существующих поисковиков накладываться, а не полностью собственный поиск.
          • 0
        • 0
          добавите в друзья какую нибудь девочку блондинку, а у нее в блоклисте все непонятные сайты научной/компьютерной тематики.
  • 0
    теперь хомячки могут заминусовать тебя и в выдаче, %username%
  • –1
    Гугл признается, что сам уже не может гарантировать качественную выдачу. Надежда на пользователей.
  • +1
    Очень рад этому расширению. Можно убрать из выдачи этот дурацкий expert-exchange…
  • 0
    Есть подобный плагин для мозилы — яндекса? Достаточно просто вырезать саму ссылку+её текст из страницы.
    Результаты гугла фильтровать все равно бесполезно (для русскоязычных запросов, естественно).

    По теме — очень удобный плагин.
    Навскидку могу вспомнить пару сайтов, которые заблокировал бы… (мечтательно)

    А ещё лучше — база таких сайтов. Как в AdBlock'e.
  • 0
    Ничего не мешает Гуглу сделать этакую контрольную группу из существующий пользователей Хрома + этого плагина и по ним понижать фармерские сайты в рейтинге (в стиле фокус групп телезрителей которые не знали что они участвуют). По крайней мере на первых порах оградит от сеоты.
    • 0
      А вот это было бы полезно. Давать эту возможность не всем, а раздавать случайным образом. Сеошники будут кусать локти тогда :3

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.