войти зарегистрироваться

Google whois

индекс
136,74

Google пытается проиндексировать Невидимую Сеть

Разработчики из подразделения краулинга и индексации (Crawling and Indexing Team) сообщили о важном эксперименте, который начался совсем недавно. Они осуществили апгрейд краулера и начали испытывать технологию интеллектуальной обработки HTML-форм. После апгрейда робот-краулер должен научиться получать скрытые URL’ы и веб-страницы, которые генерируются в ответ на обработку форм на различных сайтах и которые невозможно получить иным путём.

На практике технология работает так: при встрече с элементом обработчик форм осуществляет ряд пробных запросов. Для текстовых полей в качестве запросов автоматически выбираются слова с этого самого сайта, на котором находится форма. Значения чекбоксов и выпадающих меню берутся непосредственно из кода страницы. После этого программа пытается обработать полученный URL. Если страница действительно содержит некий контент, то её отправляют на индексирование в общий поисковый индекс.

Несмотря на кажущуюся простоту и очевидность, обработка HTML-форм является очень важным шагом по вытаскиванию на свет так называемой «Невидимой Сети» (Deep Web) — огромных массивов информации, которые скрываются в больших базах данных, открытых миру через интерфейсы HTML-форм. Это юридические БД, разнообразные справочники (телефоны, адреса, цены) и прочие массивы данных. По некоторым оценкам, Невидимая Сеть содержит сотни миллиардов страниц и охватывает 90% всего содержимого интернета. Нужно заметить, что именно там скрывается самый ценный контент, который до сих пор не доступен через стандартные поисковики.

Правда, в любом случае, огромный кусок Невидимой Сети по-прежнему останется за пределами досягаемости Google, потому что краулеру запрещено вводить какие бы то ни было пароли или другую персональную информацию в поля форм: таково решение разработчиков и руководства Google. А ведь очень многие сайты предоставляют открытый доступ к информации только после бесплатной регистрации на сайте. Но с юридической точки зрения робот Google не имеет права создавать фиктивную личность специально для регистрации, потому что это является мошенничеством и противоречит принципам всегда дружелюбного гуглобота.

Кстати, знающие люди уже объяснили, откуда растут ноги у новой технологии краулинга. Скорее всего, её создала команда разработчиков из маленькой компании Transformic, которую Google приобрела в 2005 году. Последние два с половиной года они упорно трудились, совершенствуя свою разработку и помогая интегрировать её в краулер Google.
+42
14 апреля 2008, 03:47
alizar

комментарии (75)

  • Теперь рядом с каждой формой каптча будет
    • скоро это тоже перестанет быть проблемой =)
    • Пока есть всемогущий robots.txt - капча не будет такой уж повсеместной.
      • Пока robots.txt всемогущий...
  • Да интересно получится... Бот будет накручивать голоса в голосовалках, сабмитить формы например в вики со случайным текстом и подобным поведением способствовать замусориванию интернета. Я думаю что Гугле должны это понимать, посему интересно что они предприймут чтобы этого избежать... Надеюсь не придется делать для всех форм в инете дополнительный параметр noindex.
    • Я думаю в Google что-либо припримут по этому поводу. Все-таки не дураки разрабатывают систему.
    • Задача краулера получить качественную информацию. Качественная информация - информация чистая. Хороший краулер не должне вносить изменений в индексируюмую информацию. Уверен, что разработчики Google это понимают.
      • Краулеры пока не научились отличать качественную информацию от некачественной)))
    • НЛО прилетело и опубликовало эту надпись здесь.
      • НЛО прилетело и опубликовало эту надпись здесь.
    • НЛО прилетело и опубликовало эту надпись здесь.
      • я напишу гостевуху с GET-формой и засужу гугл за флуд >.<
        • Не засудите, на их стороне спецификация HTTP запрещающая изменять что-то с помощью GET, это так называемы "safe" метод, он должен работать только на отдачу ничего не меняя.
          • Можно подробнее, что за "safe" метод?
            Для примера: действующая форма, скажем, на PHP, получила переменные в $_GET или $_POST - откуда существующий скрипт будет знать, что это не добавлять в базу надо, а гугл перебирает?
            • Стоп. Сначала написал, потом подумал. С каментом ниже все понятно, прошу извинить.
    • Они уже предприняли, паук работает только с GET, а в спецификации HTTP по этому поводу есть такой абзац:
      In particular, the convention has been established that the GET and
      HEAD methods SHOULD NOT have the significance of taking an action
      other than retrieval. These methods ought to be considered "safe".

      Так что нужно исправлять сайты, если где-то GET используется не по назначению.

      PS: Пошел проверять свои, и ведь знал же, а делал, блин, пока гром не грянет...
      • Расскажите это Дурову
    • 'noindex' - это для Яндекса.
      а для Гугла придётся ставить 'nofollow'.
  • НЛО прилетело и опубликовало эту надпись здесь.
  • С пол года назад заметил, что Гугл пользуется внутренним поиском по сайту (каталог товаров)... причём ищет товары, которых как правило нет на сайте, т.е. он подбирает слова не с этого же сайта, но соответствующие тематике! Тогда я так и не понял зачем ему это...
    • у вас на сайте нет страницы со списком последних поисковых запросов?
      реферер еще посмотрите, он тоже может помочь понять гугл ;)
      • Страницы со списком последних запросов нет. Да и запросы явно "нечеловеческие", видно что ботом каким-нибудь составлены (правда довольно грамотно составлены).
  • так допустим эти самые базы данных открыты к всеобщему доступу только в определенные часы (как некоторые базы на сайте Консультант+), если гугл их проиндексирует и будет показывать в своем кеше в любое время насколько это будет честно со стороны гугла?
    • Консультант+ может запросто запретить индексацию баз данных гуглоботом, изменив robots.txt. Что-нибудь вроде:
      User-agent: *
      Disallow: /secret_data_bases
      • А вдруг Гугл наплюет неа robots.txt? Или уже так делает?
        Кто мешает Гуглу при поисковой индексации выдавать себя за человека?
        • Почему это вопрос ко мне?
          • Ну ведь это вы написали, что можно отключать "индексацию баз данных гуглоботом, изменив robots.txt"???
            • именно так. Потому что Гугл следует спецификации robots.txt
              • т.е. я ответил про реальную, а не про теоретические возможности.
                  • Хабр глючит...
                    Я хотел сказать, что вы не можете наверняка утверждать, что Гугл будет использовать эту же спецификацию при индексации Невидимой сети. Уж слишком высока цена вопроса.
        • Совесть :)
    • fog
    • fog
    • 14 апреля 2008, 11:53
    • #
      • +3
    Надеюсь, Гугль не будет запускать одновременно по сотне процессов на поиск... иначе он задосит половину интернета, ведь часто поисковая форма самая "тормозная" на сайте.
    • НЛО прилетело и опубликовало эту надпись здесь.
      • нагрузка на базу большая может получиться.
        • НЛО прилетело и опубликовало эту надпись здесь.
      • Ну, как..

        Вообще поиск - обычно алгоритм не самый тривиальный и рессурсоёмкий.

        Хотябы форумы, когда начинаются проблемы с производительностью - первым делом отключают поиск.
        • Полностью согласен, что в данном случае могут быть действительно большие нагрузки. А если это понравится еще и другим роботам, будет не гуд. Хотя вероятно что такие роботы существуют и без гугла, так как информация, которую они могут получить, весьма серьезная, глупо было бы отказываться от такого пласта информации.
        • НЛО прилетело и опубликовало эту надпись здесь.
        • НЛО прилетело и опубликовало эту надпись здесь.
          • Ну при чем тут сразу "..кодеры"???

            Вот например, есть список "чего-либо" с постраничной разбивкой: закеширован (не суть важно как или мемкеш, или плайн-текст) и есть еще рядом форма, которая позволяет "фильтровать" этот список — так скажите, будет же больше значительно загрузка если:

            а) 1 000 человек смотрят просто список и из них 1 00 юзайт фильтр по 1-3 запроса за "сессию"
            б) приперся Гугл-паук "и давай" сабмитить в фильтр по 1 000 вариантов запросов и сравнивать результаты — "вдруг там есть че новое"...???

            А если это взять и увидеть в масштабе многих разделов сайта, а если не одного сайта, а скажем 1 000 000 сайтов?

            Все-равно "нагрузка" будет расти и ресурсоемкость повышаться соотв.
            • НЛО прилетело и опубликовало эту надпись здесь.
              • И первое и второе не показания к смене деятельности (недостаток ква-ии решает опыт приобретаемый годами, время и силы так же меняемые во времени категории). Показания к смене деятельности иные, но не об этом речь.

                Прекрасно понимаю вашу точку зрения на то, что "гугло-бот" не особо и напрягет сайты масштабных проектов, но давайте будем реалистами — в мире тонны сайтов которые работают так, как работают и сделаны так, как сделаны!

                Я же спорю с вами, что нагрузка будет сумасшедшей и не пытаюсь доказывать, что такие действия Гугла могут быть ужасно опасными, но то, что они добавят много трафика и нагрузок на сервера(сайты, осбенно на вирт. хостингах) и еще не ясно как себя все это поведет — это точно.
                • Сори, Игорь: в 3-м абзаце менно должно быть "НЕ спорю"! ;
                  • НЛО прилетело и опубликовало эту надпись здесь.
                    • И таких замечу большинство.
    • Если будет так, то это просто ненавязчивый намек на то, что нужно пользоваться поиском от Гугла.
      • НЛО прилетело и опубликовало эту надпись здесь.
    • Индексация делается довольно мягко - буквально сегодня пытался разобраться откуда гугль нарыл ссылок на форму поиска :), оказывается вот оно как - если верить логам, переодичность - 1 запрос в 2 секунды
    • VPK
    • VPK
    • 14 апреля 2008, 12:58
    • #
      • 0
    Ахтунг, гугль будет буртфорсить мои проекты? :)
  • Что-бы удалить свой аккаунт, поставте галочку и нажмите кнопку «удалить аккаунт»

    Спасибо, что пользовались услугами нашего сайта.
  • краулер это по-русски гуглбот7
    • crawler — червяк, от crawl — ползать
  • Мда. А комменты мусорные оно тоже будет постить? Ведь это тоже формочка.
    • Гугль уподобляется школьникам и начинает срать в комментах? Не верю! :)
    • Ждём на башорге, цитаты by Google! )))
  • Будет забавно, если гуглу удастся проиндексировать половину запароленных страниц используя словарь из десятка слов =)
    • Сказали же - "это является мошенничеством и противоречит принципам всегда дружелюбного гуглобота." Вы хотите, чтобы Гугль при выдаче страницы выдавал ещё и логин с пасвордом, чтобы туда можно было попасть? =)
  • Следующими этапами, видимо, будут взлом капчей, регистрация гуглобота на блогах-форумах и создание запрошенного поисковиком контента на лету :)
    • Откуда мне знать, что Вы не гугл-бот?
      • А разве в его ответе есть слова из этой страницы? )
        • Так, половина слов его ответа с этой страницы, только в разных падежах, Гугл же умеет уже склонять слова ;-)
  • НЛО прилетело и опубликовало эту надпись здесь.
    • К сожелению не знаком ни с XPlanner ни с этой историей, но с трудом представляю как ссылки на удаление какого-либо контента сайта можно выставлять на сайте в открытом виде (не закрытом аутенфикацией и т.п.)
      • И тем не менее такая байка есть.
        http://thedailywtf.com/Articles/The_Spider_of_Doom.aspx
        Чтото не ссылки получаются.
  • Crawling в русской транслитерации будет скорее "крОулинг".
    За статью - спасибо!
  • Нет, это просто тормознутость какае-то... 2008 год... и только "додуматься" до этого.
    Когда я ваял своего паучка по сбору новостей линков на новости, мне в голову сразу такая мысль пришла, но это было в 2000 году то.
    И большой сложности с технической реализацией там особо нет, тем более для такой софтверно-инетовской компании как гугл, которую я кстати очень уважаю. Просто не понятны причины... скорее всего как всегда ошибка отдела маркетинга. На гребне успеха хватало и того что есть... Теперь когда ms хочет купить yahoo начал шевелится отдел маркетинга...:)
  • Господа, скажите мне, если я прав.
    Прочитав изложенное, вырисовалась следующая картина: гуглобот сканит "невидимую" сеть. После этого я задаю запрос в поисковике и он дает мне результаты. Проходя по ссылкам которых мне постоянно будет предлагаться зарегистрироваться. Так или нет? Ведь, как написано выше, закрытая формами информация составляет 90% содержимого глобальной сети.
Только авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста.