http://habrahabr.ru/rss/post/62609/ ru editor@habrahabr.ru habrahabr.ru Sat, 11 Feb 2012 13:17:57 GMT http://habrahabr.ru/ http://habrahabr.ru/i/logo.gif http://habrahabr.ru/blogs/yandex/62609/#comment_1737109 http://habrahabr.ru/blogs/yandex/62609/#comment_1737109 Wed, 24 Jun 2009 04:42:44 GMT mickolka http://habrahabr.ru/blogs/yandex/62609/#comment_1736933 http://habrahabr.ru/blogs/yandex/62609/#comment_1736933 Tue, 23 Jun 2009 23:02:43 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1736930 http://habrahabr.ru/blogs/yandex/62609/#comment_1736930
Ограничивать можно только по IP де-факто… у виртуальных серверов они разные де факто.

У меня сайты на мастерхостовом ВПС, дорвеев рядом даже в подсетке нет.
сайты добавил в Яндекс Вебмастер Тулз.

два месяца не было индексации… потом написал в техсаппорт, через несколько дней проиндексировали.

Сравните с Гуглом — проиндексировали в тот же день, хотя даже кода GA не было ещё на сайтах.]]> Tue, 23 Jun 2009 23:01:05 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1736791 http://habrahabr.ru/blogs/yandex/62609/#comment_1736791 Tue, 23 Jun 2009 21:12:02 GMT egorinsk http://habrahabr.ru/blogs/yandex/62609/#comment_1736777 http://habrahabr.ru/blogs/yandex/62609/#comment_1736777 Tue, 23 Jun 2009 21:04:30 GMT egorinsk http://habrahabr.ru/blogs/yandex/62609/#comment_1736337 http://habrahabr.ru/blogs/yandex/62609/#comment_1736337
а чтобы что-то конкретное сказать о конкретном блоге, не попадавшем в выдачу, нужно уже смотреть именно на него, исходя из опыта работы с яндексом — это проблемы блога.]]> Tue, 23 Jun 2009 17:34:34 GMT grimskin http://habrahabr.ru/blogs/yandex/62609/#comment_1736241 http://habrahabr.ru/blogs/yandex/62609/#comment_1736241 Tue, 23 Jun 2009 16:58:32 GMT tiaurus http://habrahabr.ru/blogs/yandex/62609/#comment_1736149 http://habrahabr.ru/blogs/yandex/62609/#comment_1736149
Я описывал ниже суть проблемы из которой было ясно что поддоменов много. Мы действительно пока не всегда готовы к нагрузке 12 запросов в секунду, так как у нас нормальной является нагрузка 2-3 запроса в пике, эту проблему мы постараемся решить с помощью nginx и ограничении количества запросов с одного IP в секунду. Стоит отметить что количество страниц в индексе (сумарно менее 200 000 страниц) не требует индексации со скоростью 12 запросов в секунду, тем более учитвая что есть актуальный sitemap с коректными last-modified датами для всех поддоменов. Google индексирует нас со скоростью 1-2 запроса в секунду сумарно и мы очень довольны качеством и актуальностью его индекса.

В связи с этим, особенно хотелось бы пожелать Вам исполнить последние два пожелания, это был бы качественный шаг.

Надеюсь, что выпадние из индекса из-за блокирования 7 дней YandexSomething временно и скоро разрешится, хотя пока за 5 дней прогрес только в том что скачались sitemap и главная.

]]> Tue, 23 Jun 2009 16:22:43 GMT mickolka http://habrahabr.ru/blogs/yandex/62609/#comment_1735999 http://habrahabr.ru/blogs/yandex/62609/#comment_1735999
1. Робот Яндекса выкачал 19238 страниц с 8506 (восьми тысяч пятисот шести) поддоменов uaprom.net и с 6896 (шести тысяч восьмисот девяноста шести) поддоменов ruprom.net, а не с двух хостов, как может показаться из заметок.

2. На каждый хост (из ~ 15000) делалось не более одного обращения в 1,1 или 2 секунды (в зависимости от размера хоста).

Сейчас uaprom.net/robots.txt и ruprom.net/robots.txt установили Crawl-Delay в 0,5, благодаря чему увеличили нагрузку на своих хосты (по умолчанию Crawl-Delay 1,1 или 2 секунды).

3. Все поддомены ruprom.net и uaprom.net лежат на двух IP. Автоматические алгоритмы Яндекса определили ruprom.net и uaprom.net как хостинги (впрочем, сайты позиционируют себя как «надежный хостинг», см. ruprom.net/tour-4 и uaprom.net/tour-4).

Для надежного хостинга, на серверах которого находится много сайтов, мы создавали нагрузку, не превышающую 12 запросов в секунду на IP.

4. User-Agent отдавался «YandexSomething» и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы забыли изменить дефолтное представление. Ошибку исправили, спасибо, робота поставили в угол.

Резюме: нагрузка создаваемая на IP хостингов ruprom.net и uaprom.net не превышала лимиты, допустимые при обходе большинства хостингов. Мы понимаем, что она может быть избыточной для небольших хостингов и постараемся лучше дифференцировать нагрузку на большие и малые хостинги. Надеемся, что сервера рунета будут встречать перевоспитанного робота благосклонно.]]> Tue, 23 Jun 2009 15:27:00 GMT Sadovsky http://habrahabr.ru/blogs/yandex/62609/#comment_1735678 http://habrahabr.ru/blogs/yandex/62609/#comment_1735678
Сейчас на пробу задал фразу из песни, Гугл первой ссылкой выдал сайт группы с текстом песни, второй — текст песни на каком-то сайте текстов песен, третьей — цитату из песни в каком-то бложике, дальше фигню.
Яндекс выдал ссылки на разные сайты совсем не по теме, и только предпоследней ссылкой выдал заданную фразу (в ссылках до этого только отдельные слова), но не в тексте песни, а цитату, хотя и по теме.
]]> Tue, 23 Jun 2009 13:57:40 GMT Goodkat http://habrahabr.ru/blogs/yandex/62609/#comment_1735476 http://habrahabr.ru/blogs/yandex/62609/#comment_1735476
Вот здесь www.webplanet.ru/news/security/2009/06/19/comments/yanddos.html на веб планете писали о проблеме, там в коментах подробно она разжевана.]]> Tue, 23 Jun 2009 13:19:25 GMT mstarrr http://habrahabr.ru/blogs/yandex/62609/#comment_1735449 http://habrahabr.ru/blogs/yandex/62609/#comment_1735449 Tue, 23 Jun 2009 13:16:00 GMT pushlan http://habrahabr.ru/blogs/yandex/62609/#comment_1735381 http://habrahabr.ru/blogs/yandex/62609/#comment_1735381 Tue, 23 Jun 2009 13:05:45 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1735368 http://habrahabr.ru/blogs/yandex/62609/#comment_1735368 Tue, 23 Jun 2009 13:03:13 GMT Goodkat http://habrahabr.ru/blogs/yandex/62609/#comment_1734695 http://habrahabr.ru/blogs/yandex/62609/#comment_1734695 на том же айпишнике или в той же подсети. или просто у любимого дорвейщиками хостера.]]> Tue, 23 Jun 2009 10:08:46 GMT grimskin http://habrahabr.ru/blogs/yandex/62609/#comment_1734659 http://habrahabr.ru/blogs/yandex/62609/#comment_1734659 Tue, 23 Jun 2009 09:53:02 GMT SkyCat http://habrahabr.ru/blogs/yandex/62609/#comment_1734617 http://habrahabr.ru/blogs/yandex/62609/#comment_1734617 Tue, 23 Jun 2009 09:37:59 GMT tiaurus http://habrahabr.ru/blogs/yandex/62609/#comment_1734524 http://habrahabr.ru/blogs/yandex/62609/#comment_1734524 Tue, 23 Jun 2009 09:05:19 GMT grimskin http://habrahabr.ru/blogs/yandex/62609/#comment_1734521 http://habrahabr.ru/blogs/yandex/62609/#comment_1734521 так что подобная статистика совсем не аргумент.]]> Tue, 23 Jun 2009 09:04:04 GMT grimskin http://habrahabr.ru/blogs/yandex/62609/#comment_1734437 http://habrahabr.ru/blogs/yandex/62609/#comment_1734437
В своей реальной жизни я всегда ищу через Google. ]]> Tue, 23 Jun 2009 08:29:04 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1734312 http://habrahabr.ru/blogs/yandex/62609/#comment_1734312 Tue, 23 Jun 2009 07:35:51 GMT mickolka http://habrahabr.ru/blogs/yandex/62609/#comment_1734258 http://habrahabr.ru/blogs/yandex/62609/#comment_1734258 1. Яндекс просто отказывался индексировать один из моих блогов три месяца, хотя я каждую неделю добавлял его в форму регистрации новых сайтов. Более того, я установил их код, чтобы Яндекс знал, что это мой сайт. Три месяца — все бесполезно. И только переписка со службой поддержки дала маленький результат — ссылка на главную страницу появилась в Яндексе. В моем блоге сейчас около 500 постов, но Яндексом проиндексировано около 150, и это после 6 месяцев работы. Как минимум, странные алгоритмы работы поисковой системы.
2. Просматривая статистику посещений, вижу, что робот Яндекса создает жуткие напряги моему виртуальному серверу. Не понимаю, что он делает по 3 часа на сайте, если проиндексирована только его треть? Да за это время можно весь сайт от начала и до конца проиндексировать. Я бэкапы по FTP делаю быстрее (то есть переписываю ВСЕ файлы сайта на локальный компьютер).
3. Что это за странные ответы человека-робота Платона, что сайт не соответствует представлениям о том, каким он должен быть, и поэтому выкинут из индекса (не принят в индекс)? То есть, все эти дорвеи, сателлиты, говносайты, мирриады порно-источников, биллионы помоек, посвещенны смо и сео высерам, блоги беззастенчивых копипастеров, плохих рерайтеров, блоги, наполненные твоим бредом яндекс.весна с рекламными ссылками в конце и начале постов, все эти фекалоресурсы соответствуют представлениям Яндекса о том, каким должен быть сайт, а мой блог, который я писал от начала и до конца сам, где 100% текста — уникальный, авторский контент, где цитаты оформлены как цитаты (выделены соответствующим образом ссылкой на источник), где нет ни мата, ни порнухи, ни чернухи — не соответствует, и поэтому ему могут снизить всякие показатели, или вообще исключить из индексации.
Думаю, что если первые два пункта можно с натяжкой послать куда подальше вместе со мной, то под третим подпишется масса вебмастеров (блогеров), оказавшихся в такой же ситуации.]]> Tue, 23 Jun 2009 07:19:05 GMT tiaurus http://habrahabr.ru/blogs/yandex/62609/#comment_1734070 http://habrahabr.ru/blogs/yandex/62609/#comment_1734070 Tue, 23 Jun 2009 06:04:44 GMT UIRobot http://habrahabr.ru/blogs/yandex/62609/#comment_1734004 http://habrahabr.ru/blogs/yandex/62609/#comment_1734004 Tue, 23 Jun 2009 05:23:42 GMT mickolka http://habrahabr.ru/blogs/yandex/62609/#comment_1733997 http://habrahabr.ru/blogs/yandex/62609/#comment_1733997 Tue, 23 Jun 2009 05:19:52 GMT mickolka http://habrahabr.ru/blogs/yandex/62609/#comment_1733842 http://habrahabr.ru/blogs/yandex/62609/#comment_1733842 Tue, 23 Jun 2009 01:05:16 GMT SkyCat http://habrahabr.ru/blogs/yandex/62609/#comment_1733695 http://habrahabr.ru/blogs/yandex/62609/#comment_1733695 Mon, 22 Jun 2009 21:56:08 GMT imil http://habrahabr.ru/blogs/yandex/62609/#comment_1733611 http://habrahabr.ru/blogs/yandex/62609/#comment_1733611
Все сильно вцепились в фразу 12 запросов в секунду. Это ж не факт, что у них сервер падает при 12 запросах в секунду. Помимо яндекса туда еще и пользователи ходят.]]> Mon, 22 Jun 2009 21:04:39 GMT Zada http://habrahabr.ru/blogs/yandex/62609/#comment_1733593 http://habrahabr.ru/blogs/yandex/62609/#comment_1733593 Mon, 22 Jun 2009 20:56:19 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1733592 http://habrahabr.ru/blogs/yandex/62609/#comment_1733592 Mon, 22 Jun 2009 20:56:16 GMT Zada http://habrahabr.ru/blogs/yandex/62609/#comment_1733587 http://habrahabr.ru/blogs/yandex/62609/#comment_1733587 Mon, 22 Jun 2009 20:53:25 GMT Zada http://habrahabr.ru/blogs/yandex/62609/#comment_1733566 http://habrahabr.ru/blogs/yandex/62609/#comment_1733566 Mon, 22 Jun 2009 20:48:43 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1733558 http://habrahabr.ru/blogs/yandex/62609/#comment_1733558 Mon, 22 Jun 2009 20:46:25 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1733549 http://habrahabr.ru/blogs/yandex/62609/#comment_1733549
Но по GA — через поиск 8 из 10 пользователей, приходящих через поисковые системы, приходят через Гугл. 1 — через Яхо или Live, и 1 — через Яндекс etc.

Сайты русскоязычные.

P.S.: никакого SEO, кроме нормального построения ключевых слов и sitemaps, не делаю.]]> Mon, 22 Jun 2009 20:44:24 GMT akzhan http://habrahabr.ru/blogs/yandex/62609/#comment_1733486 http://habrahabr.ru/blogs/yandex/62609/#comment_1733486 Mon, 22 Jun 2009 20:21:07 GMT barbuza http://habrahabr.ru/blogs/yandex/62609/#comment_1733423 http://habrahabr.ru/blogs/yandex/62609/#comment_1733423 Mon, 22 Jun 2009 19:44:48 GMT mickolka http://habrahabr.ru/blogs/yandex/62609/#comment_1733415 http://habrahabr.ru/blogs/yandex/62609/#comment_1733415 Как забавно порой слышать подобные заявления. А какой выбор сделали посетители Вашего сайта?]]> Mon, 22 Jun 2009 19:41:23 GMT EvilSon http://habrahabr.ru/blogs/yandex/62609/#comment_1733387 http://habrahabr.ru/blogs/yandex/62609/#comment_1733387 Mon, 22 Jun 2009 19:30:44 GMT alfa #comment_1733334 #comment_1733334 Mon, 22 Jun 2009 19:15:13 GMT englishextra http://habrahabr.ru/blogs/yandex/62609/#comment_1733311 http://habrahabr.ru/blogs/yandex/62609/#comment_1733311 извините, у меня весьма стандартный хостинг и 100к страниц в индексе того же яндекса, может стоит взять хостинг по проще? а вообще гугло, ой, яндекс карта сайта решает эти проблемы

Разделяйте User-agent:YandexSomething и Yandex/1.01.001
а это зря, они там покурят и разберуться, а вам минус бот, а слить бота, ну не мне вас учить

короче забил, унылое говно, не хочу это читать, топик зла
з.ы. проблемы бывают у всех — важно что вы найдете решение для себя или нет, а проблемы то никуда не уйдут, вы не рес номер один в рунете]]> Mon, 22 Jun 2009 19:06:07 GMT vini