http://habrahabr.ru/rss/post/23456/ ru editor@habrahabr.ru habrahabr.ru Sat, 11 Feb 2012 11:52:26 GMT http://habrahabr.ru/ http://habrahabr.ru/i/logo.gif http://habrahabr.ru/blogs/google/23456/#comment_1092859 http://habrahabr.ru/blogs/google/23456/#comment_1092859 Mon, 03 Nov 2008 15:34:45 GMT egorinsk http://habrahabr.ru/blogs/google/23456/#comment_877639 http://habrahabr.ru/blogs/google/23456/#comment_877639 Tue, 19 Aug 2008 16:57:58 GMT atomicxp http://habrahabr.ru/blogs/google/23456/#comment_567528 http://habrahabr.ru/blogs/google/23456/#comment_567528 Прочитав изложенное, вырисовалась следующая картина: гуглобот сканит "невидимую" сеть. После этого я задаю запрос в поисковике и он дает мне результаты. Проходя по ссылкам которых мне постоянно будет предлагаться зарегистрироваться. Так или нет? Ведь, как написано выше, закрытая формами информация составляет 90% содержимого глобальной сети.]]> Tue, 15 Apr 2008 18:57:56 GMT siteinside http://habrahabr.ru/blogs/google/23456/#comment_567353 http://habrahabr.ru/blogs/google/23456/#comment_567353 http://thedailywtf.com/Articles/The_Spider_of_Doom.aspx
Чтото не ссылки получаются.]]> Tue, 15 Apr 2008 18:05:14 GMT nanodust http://habrahabr.ru/blogs/google/23456/#comment_566571 http://habrahabr.ru/blogs/google/23456/#comment_566571 Когда я ваял своего паучка по сбору новостей линков на новости, мне в голову сразу такая мысль пришла, но это было в 2000 году то.
И большой сложности с технической реализацией там особо нет, тем более для такой софтверно-инетовской компании как гугл, которую я кстати очень уважаю. Просто не понятны причины... скорее всего как всегда ошибка отдела маркетинга. На гребне успеха хватало и того что есть... Теперь когда ms хочет купить yahoo начал шевелится отдел маркетинга...:)]]> Tue, 15 Apr 2008 13:09:05 GMT maxic http://habrahabr.ru/blogs/google/23456/#comment_565141 http://habrahabr.ru/blogs/google/23456/#comment_565141 Mon, 14 Apr 2008 20:33:42 GMT vodjanoj http://habrahabr.ru/blogs/google/23456/#comment_565104 http://habrahabr.ru/blogs/google/23456/#comment_565104 За статью - спасибо!]]> Mon, 14 Apr 2008 20:02:59 GMT Joshua http://habrahabr.ru/blogs/google/23456/#comment_564915 http://habrahabr.ru/blogs/google/23456/#comment_564915 Mon, 14 Apr 2008 18:02:10 GMT PART http://habrahabr.ru/blogs/google/23456/#comment_564882 http://habrahabr.ru/blogs/google/23456/#comment_564882 Mon, 14 Apr 2008 17:50:25 GMT ScREW #comment_564703 #comment_564703 Я лишь пытался сказать, что поисковая форма "тормозная" ровно настолько, насколько ее сделали "тормозной".

Только очень глупый (или очень бедный) человек может использовать систему на максимально допустимой нагрузке, что любой чих вызывает ее перегруз. .]]> Mon, 14 Apr 2008 16:18:40 GMT igor_puchkov http://habrahabr.ru/blogs/google/23456/#comment_564681 http://habrahabr.ru/blogs/google/23456/#comment_564681 Mon, 14 Apr 2008 16:11:18 GMT silverwind http://habrahabr.ru/blogs/google/23456/#comment_564665 http://habrahabr.ru/blogs/google/23456/#comment_564665 Mon, 14 Apr 2008 16:05:55 GMT silverwind http://habrahabr.ru/blogs/google/23456/#comment_564662 http://habrahabr.ru/blogs/google/23456/#comment_564662
Прекрасно понимаю вашу точку зрения на то, что "гугло-бот" не особо и напрягет сайты масштабных проектов, но давайте будем реалистами — в мире тонны сайтов которые работают так, как работают и сделаны так, как сделаны!

Я же спорю с вами, что нагрузка будет сумасшедшей и не пытаюсь доказывать, что такие действия Гугла могут быть ужасно опасными, но то, что они добавят много трафика и нагрузок на сервера(сайты, осбенно на вирт. хостингах) и еще не ясно как себя все это поведет — это точно.]]> Mon, 14 Apr 2008 16:04:44 GMT silverwind #comment_564627 #comment_564627
теперь я догадываюсь с чьей подачи SOAP 1.2 поддерживает GET-запросы :) Гугль хочет индексировать веб-сервисы

p.s. А в яндексе однажды чуть не похерили XPlanner, попытавшись его проиндексировать своим роботом, а там ссылки на удаление были get-запросом (вроде с "экраном" на js, но роботу было похер на этот "экран") и это не единственный случай, когда пресловутая "команда" кладёт с прибором на веб-стандарт]]> Mon, 14 Apr 2008 15:44:57 GMT mfk #comment_564335 #comment_564335 Не выходит? Так и должно быть.
Нужно уметь проектировать модель данных приложения, расставлять индексы и отпимизировать там, где это требуется. Естественно у каждой задачи будут свои масштабы, но я не верю что при более-менее вменяемом проектировании какой-нибудь бот сможет увеличить нагрузку системы более чем в 10 раз.

Мне просто не совсем близка философия "Ой ей, придет гуглобот и все мне тут разрушит". А зачем делать заведомо неэффективные приложения? Вместо того чтобы искать проблемы в себе, люди ищут отмазки. Либо просто лень потратить время и силы и сделать нормально, либо просто недостаток квалификации. Как первое, так и второе прямые показания к смене деятельности на более простую, где требуется физический тру]]> Mon, 14 Apr 2008 13:53:19 GMT igor_puchkov http://habrahabr.ru/blogs/google/23456/#comment_564305 http://habrahabr.ru/blogs/google/23456/#comment_564305 Mon, 14 Apr 2008 13:41:55 GMT silverwind http://habrahabr.ru/blogs/google/23456/#comment_564292 http://habrahabr.ru/blogs/google/23456/#comment_564292
Вот например, есть список "чего-либо" с постраничной разбивкой: закеширован (не суть важно как или мемкеш, или плайн-текст) и есть еще рядом форма, которая позволяет "фильтровать" этот список — так скажите, будет же больше значительно загрузка если:

а) 1 000 человек смотрят просто список и из них 1 00 юзайт фильтр по 1-3 запроса за "сессию"
б) приперся Гугл-паук "и давай" сабмитить в фильтр по 1 000 вариантов запросов и сравнивать результаты — "вдруг там есть че новое"...???

А если это взять и увидеть в масштабе многих разделов сайта, а если не одного сайта, а скажем 1 000 000 сайтов?

Все-равно "нагрузка" будет расти и ресурсоемкость повышаться соотв.]]> Mon, 14 Apr 2008 13:39:35 GMT silverwind #comment_564056 #comment_564056 Mon, 14 Apr 2008 12:28:38 GMT Agafonov #comment_564036 #comment_564036 Так, млин, не делайте его ресурсоемким!
Мысли в слух. Срите в карму.]]> Mon, 14 Apr 2008 12:18:01 GMT igor_puchkov http://habrahabr.ru/blogs/google/23456/#comment_563972 http://habrahabr.ru/blogs/google/23456/#comment_563972 Mon, 14 Apr 2008 11:51:47 GMT Habitat http://habrahabr.ru/blogs/google/23456/#comment_563954 http://habrahabr.ru/blogs/google/23456/#comment_563954 Mon, 14 Apr 2008 11:47:20 GMT dharbari http://habrahabr.ru/blogs/google/23456/#comment_563907 http://habrahabr.ru/blogs/google/23456/#comment_563907 Mon, 14 Apr 2008 11:33:29 GMT Jake #comment_563803 #comment_563803 Mon, 14 Apr 2008 10:59:18 GMT igor_puchkov #comment_563799 #comment_563799 У кого он ресурсоемкий? Кто и зачем его делает ресурсоемким?]]> Mon, 14 Apr 2008 10:57:28 GMT igor_puchkov http://habrahabr.ru/blogs/google/23456/#comment_563749 http://habrahabr.ru/blogs/google/23456/#comment_563749 Mon, 14 Apr 2008 10:42:17 GMT homm http://habrahabr.ru/blogs/google/23456/#comment_563728 http://habrahabr.ru/blogs/google/23456/#comment_563728 а для Гугла придётся ставить 'nofollow'.]]> Mon, 14 Apr 2008 10:37:40 GMT ski88er http://habrahabr.ru/blogs/google/23456/#comment_563646 http://habrahabr.ru/blogs/google/23456/#comment_563646 Mon, 14 Apr 2008 10:13:01 GMT zooh http://habrahabr.ru/blogs/google/23456/#comment_563641 http://habrahabr.ru/blogs/google/23456/#comment_563641 Mon, 14 Apr 2008 10:11:45 GMT Dr_Gnoiseberg http://habrahabr.ru/blogs/google/23456/#comment_563634 http://habrahabr.ru/blogs/google/23456/#comment_563634 Mon, 14 Apr 2008 10:09:58 GMT Dr_Gnoiseberg http://habrahabr.ru/blogs/google/23456/#comment_563632 http://habrahabr.ru/blogs/google/23456/#comment_563632 Mon, 14 Apr 2008 10:08:39 GMT metanol http://habrahabr.ru/blogs/google/23456/#comment_563619 http://habrahabr.ru/blogs/google/23456/#comment_563619 Mon, 14 Apr 2008 10:02:01 GMT starosta http://habrahabr.ru/blogs/google/23456/#comment_563612 http://habrahabr.ru/blogs/google/23456/#comment_563612 In particular, the convention has been established that the GET and
HEAD methods SHOULD NOT have the significance of taking an action
other than retrieval. These methods ought to be considered "safe".

Так что нужно исправлять сайты, если где-то GET используется не по назначению.

PS: Пошел проверять свои, и ведь знал же, а делал, блин, пока гром не грянет...]]> Mon, 14 Apr 2008 09:59:56 GMT Jenek http://habrahabr.ru/blogs/google/23456/#comment_563610 http://habrahabr.ru/blogs/google/23456/#comment_563610 Для примера: действующая форма, скажем, на PHP, получила переменные в $_GET или $_POST - откуда существующий скрипт будет знать, что это не добавлять в базу надо, а гугл перебирает?]]> Mon, 14 Apr 2008 09:58:58 GMT metanol http://habrahabr.ru/blogs/google/23456/#comment_563598 http://habrahabr.ru/blogs/google/23456/#comment_563598 Mon, 14 Apr 2008 09:53:58 GMT someone http://habrahabr.ru/blogs/google/23456/#comment_563585 http://habrahabr.ru/blogs/google/23456/#comment_563585 Mon, 14 Apr 2008 09:48:55 GMT Jenek http://habrahabr.ru/blogs/google/23456/#comment_563580 http://habrahabr.ru/blogs/google/23456/#comment_563580 Mon, 14 Apr 2008 09:43:50 GMT MadGreen http://habrahabr.ru/blogs/google/23456/#comment_563572 http://habrahabr.ru/blogs/google/23456/#comment_563572 Mon, 14 Apr 2008 09:41:37 GMT Jenek http://habrahabr.ru/blogs/google/23456/#comment_563513 http://habrahabr.ru/blogs/google/23456/#comment_563513 Mon, 14 Apr 2008 09:14:24 GMT hlomzik http://habrahabr.ru/blogs/google/23456/#comment_563504 http://habrahabr.ru/blogs/google/23456/#comment_563504 Mon, 14 Apr 2008 09:12:33 GMT bolk http://habrahabr.ru/blogs/google/23456/#comment_563490 http://habrahabr.ru/blogs/google/23456/#comment_563490 Mon, 14 Apr 2008 09:05:51 GMT landau