http://habrahabr.ru/rss/blogs/yandex/62731/ ru editor@habrahabr.ru habrahabr.ru Sun, 21 Mar 2010 11:47:21 GMT http://habrahabr.ru/ http://habrahabr.ru/i/logo.gif http://habrahabr.ru/blogs/yandex/62731/#comment_1776688 http://habrahabr.ru/blogs/yandex/62731/#comment_1776688 Гугол]]> Wed, 08 Jul 2009 18:51:36 GMT Rulez http://habrahabr.ru/blogs/yandex/62731/#comment_1776683 http://habrahabr.ru/blogs/yandex/62731/#comment_1776683 Wed, 08 Jul 2009 18:50:33 GMT Rulez http://habrahabr.ru/blogs/yandex/62731/#comment_1776682 http://habrahabr.ru/blogs/yandex/62731/#comment_1776682 Wed, 08 Jul 2009 18:49:37 GMT Rulez http://habrahabr.ru/blogs/yandex/62731/#comment_1739646 http://habrahabr.ru/blogs/yandex/62731/#comment_1739646 Верю и в то, что сайты не изменились принципиально, а вот позиция у тех, кто решал проблему изменилась, а скорее всего все сделано было через головы этих редакторов.

Я далек от мысли, что после моего поста в Яндекс-каталог Вы попали… но все равно все это наложило на Вашу историю неприятный оттенок обиды… я так думаю.]]> Thu, 25 Jun 2009 00:53:29 GMT DOZER http://habrahabr.ru/blogs/yandex/62731/#comment_1739092 http://habrahabr.ru/blogs/yandex/62731/#comment_1739092 Wed, 24 Jun 2009 18:20:50 GMT RAF http://habrahabr.ru/blogs/yandex/62731/#comment_1737445 http://habrahabr.ru/blogs/yandex/62731/#comment_1737445 Wed, 24 Jun 2009 07:44:37 GMT mickolka http://habrahabr.ru/blogs/yandex/62731/#comment_1737327 http://habrahabr.ru/blogs/yandex/62731/#comment_1737327 ru.wikipedia.org/wiki/%D0%90%D1%82%D0%B0%D0%BB%D1%8B%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%BE]]> Wed, 24 Jun 2009 06:58:54 GMT Ares http://habrahabr.ru/blogs/yandex/62731/#comment_1737181 http://habrahabr.ru/blogs/yandex/62731/#comment_1737181
1. Мы не хостинг в классическом понимании, мы скорее система создания сайтов, нечто подобное ucoz.ru или narod.ru но узко заточеное под сайты визитки компаний. Графа надежность хостинга (соглашусь с коментариями, что это странное оправдание, так как врядли бот парсил нашу таблицу) в uaprom.net/tour-4 означает только что у нах нормальное оборудование, хороший up-time и хорошая скорость отдачи (в случае обычных нагрузок). У нас и есть подобие IPS, но Яндекс бот был включен в список ботов которым наша IPS доверяет, поэтому он не был отсечен.

2. Для поддоменов вроде company.uaprom.net/robots.txt Crawl-delay Яндексу стоит в 5 сек, но даже это не поможет учитывая то, что их 15 000 (формально можно делать 3 000 запросов в секунду). Очевидно что тут нужно учитывать не субъективную надежность хостинга, а иметь обратную связь между скоростью индексации (на один IP) адреса и временем ответа, не смотря на Crawl-delay. Так как эти параметры объективно связаны, то это раз и навсегда избавит Яндекс от претензий вроде той что была предъявлена.

3. Нам очень хотелось чтобы также Яндекс позволил отдельно блокировать разные роботы, как это делают многие другие системы. Чтобы вполне логичное блокирование YandexSomething в случае некоректного его поведения не приводило к выпаданию сайта из индекса. Также хотелось бы услышать временную оценку того, когда наши сайты будут восстановлены в индексе из-за этой ошибки (до прежних значений количества страниц основных доменов).

4. Еще раз спасибо за публичный ответ, я думаю что несмотря на довольно негативный фон, из этой дискусии все стороны (и Яндекс и вебмастеры) могут извлечь выгоду если будут сделаны правильные выводы. Стоит отметить, что мы очень хорошо относимся к сервисам Яндекса и всячески интегрируемся с ними (Карты, Директ, РСЯ) так как они, по нашему мнению, действительно лучше аналогов.

]]> Wed, 24 Jun 2009 05:50:59 GMT mickolka http://habrahabr.ru/blogs/yandex/62731/#comment_1737105 http://habrahabr.ru/blogs/yandex/62731/#comment_1737105
Александ Садовский, конечно, молодец, но чувствую, они там в Яндексе крутят у виска от мысли, что есть хостинги, падающие от 12 запросов в секунду. Причём настолько непрофессиональные хостинги, что даже директивы robots.txt для админов — терра инкогнита.

Я бы писал в саппорт, чтоб не позориться. Тут знаете ли, не «Яндекс провинился», а "*prom опозорилсо, а Яндекс у себя мелкий баг поправил".]]> Wed, 24 Jun 2009 04:39:53 GMT sCrasher http://habrahabr.ru/blogs/yandex/62731/#comment_1736680 http://habrahabr.ru/blogs/yandex/62731/#comment_1736680 Tue, 23 Jun 2009 20:06:37 GMT tsepelev http://habrahabr.ru/blogs/yandex/62731/#comment_1736545 http://habrahabr.ru/blogs/yandex/62731/#comment_1736545
Так по тому топику яндекс не прояснил ситуацию, ни одного их комментария не было. ]]> Tue, 23 Jun 2009 18:59:03 GMT DOZER http://habrahabr.ru/blogs/yandex/62731/#comment_1736504 http://habrahabr.ru/blogs/yandex/62731/#comment_1736504 Tue, 23 Jun 2009 18:39:14 GMT eth1 http://habrahabr.ru/blogs/yandex/62731/#comment_1736493 http://habrahabr.ru/blogs/yandex/62731/#comment_1736493
Роботы используют революционный алгоритм, в основе которого лежит постулат «Любая таблица с плюсами, минусами и звездочками является тарифной сеткой». Далее используется факт N1: «uaprom.net имеет 8506 поддоменов». На основании этого делается вывод о хостинге. Количественная оценка поддоменов служит критерием для определения надежности.

]]> Tue, 23 Jun 2009 18:34:11 GMT demitsuri http://habrahabr.ru/blogs/yandex/62731/#comment_1736422 http://habrahabr.ru/blogs/yandex/62731/#comment_1736422 Tue, 23 Jun 2009 18:04:26 GMT Usmekhaiouschiysia http://habrahabr.ru/blogs/yandex/62731/#comment_1736412 http://habrahabr.ru/blogs/yandex/62731/#comment_1736412 Tue, 23 Jun 2009 18:00:59 GMT schors http://habrahabr.ru/blogs/yandex/62731/#comment_1736403 http://habrahabr.ru/blogs/yandex/62731/#comment_1736403 Tue, 23 Jun 2009 17:59:01 GMT kukutz http://habrahabr.ru/blogs/yandex/62731/#comment_1736358 http://habrahabr.ru/blogs/yandex/62731/#comment_1736358 Tue, 23 Jun 2009 17:43:05 GMT KaLGaN http://habrahabr.ru/blogs/yandex/62731/#comment_1736318 http://habrahabr.ru/blogs/yandex/62731/#comment_1736318 Tue, 23 Jun 2009 17:25:52 GMT borisko http://habrahabr.ru/blogs/yandex/62731/#comment_1736294 http://habrahabr.ru/blogs/yandex/62731/#comment_1736294 — Он ненавидел меня, потому что я с ним заговорил.
— Заговорил? — возбужденно воскликнул Форд. — То есть как «заговорил»?
— Очень просто. Меня охватила жуткая тоска. Я подключился к его компьютеру и подробно изложил ему свои взгляды на Вселенную.
— И что случилось? — напряженно спросил Форд.
— Он покончил жизнь самоубийством, — уныло сообщил Марвин и поплелся к «Золотому сердцу»]]> Tue, 23 Jun 2009 17:17:39 GMT tegger http://habrahabr.ru/blogs/yandex/62731/#comment_1736291 http://habrahabr.ru/blogs/yandex/62731/#comment_1736291 Tue, 23 Jun 2009 17:16:22 GMT schors http://habrahabr.ru/blogs/yandex/62731/#comment_1736259 http://habrahabr.ru/blogs/yandex/62731/#comment_1736259 ]]> Tue, 23 Jun 2009 17:04:30 GMT lumenous http://habrahabr.ru/blogs/yandex/62731/#comment_1736237 http://habrahabr.ru/blogs/yandex/62731/#comment_1736237 Tue, 23 Jun 2009 16:57:32 GMT KaLGaN http://habrahabr.ru/blogs/yandex/62731/#comment_1736191 http://habrahabr.ru/blogs/yandex/62731/#comment_1736191 Tue, 23 Jun 2009 16:41:55 GMT Kastrulya http://habrahabr.ru/blogs/yandex/62731/#comment_1736171 http://habrahabr.ru/blogs/yandex/62731/#comment_1736171 habrahabr.ru/blogs/yandex/62609/#comment_1735999 в этом посте

Александр, спасибо за детальный ответ, нам очень приятно, что компания Яндекс конструктивно отвечает на конструктивные пожелания.

Я описывал ниже суть проблемы из которой было ясно что поддоменов много. Мы действительно пока не всегда готовы к нагрузке 12 запросов в секунду, так как у нас нормальной является нагрузка 2-3 запроса в пике, эту проблему мы постараемся решить с помощью nginx и ограничении количества запросов с одного IP в секунду. Стоит отметить что количество страниц в индексе (сумарно менее 200 000 страниц) не требует индексации со скоростью 12 запросов в секунду, тем более учитвая что есть актуальный sitemap с коректными last-modified датами для всех поддоменов. Google индексирует нас со скоростью 1-2 запроса в секунду сумарно и мы очень довольны качеством и актуальностью его индекса.

В связи с этим, особенно хотелось бы пожелать Вам исполнить последние два пожелания, это был бы качественный шаг.

Надеюсь, что выпадние из индекса из-за блокирования 7 дней YandexSomething временно и скоро разрешится, хотя пока за 5 дней прогрес только в том что скачались sitemap и главная.]]> Tue, 23 Jun 2009 16:33:08 GMT mickolka http://habrahabr.ru/blogs/yandex/62731/#comment_1736156 http://habrahabr.ru/blogs/yandex/62731/#comment_1736156 Tue, 23 Jun 2009 16:25:59 GMT RAF http://habrahabr.ru/blogs/yandex/62731/#comment_1736138 http://habrahabr.ru/blogs/yandex/62731/#comment_1736138 Tue, 23 Jun 2009 16:19:56 GMT nikzh http://habrahabr.ru/blogs/yandex/62731/#comment_1736136 http://habrahabr.ru/blogs/yandex/62731/#comment_1736136 Ошибку исправили, спасибо, робота поставили в угол.

]]> Tue, 23 Jun 2009 16:19:23 GMT nikzh http://habrahabr.ru/blogs/yandex/62731/#comment_1736112 http://habrahabr.ru/blogs/yandex/62731/#comment_1736112 Tue, 23 Jun 2009 16:12:04 GMT dark_dar http://habrahabr.ru/blogs/yandex/62731/#comment_1736097 http://habrahabr.ru/blogs/yandex/62731/#comment_1736097 Tue, 23 Jun 2009 16:06:57 GMT dark_dar http://habrahabr.ru/blogs/yandex/62731/#comment_1736088 http://habrahabr.ru/blogs/yandex/62731/#comment_1736088 Tue, 23 Jun 2009 16:03:37 GMT karamba http://habrahabr.ru/blogs/yandex/62731/#comment_1736075 http://habrahabr.ru/blogs/yandex/62731/#comment_1736075 Автоматические алгоритмы Яндекса определили ruprom.net и uaprom.net как хостинги (они и позиционируют себя как надежные хостинги, см. ruprom.net/tour-4 и uaprom.net/tour-4).

Ваши роботы ещё и просканенный контент читать умеют?!]]> Tue, 23 Jun 2009 15:59:50 GMT kpblca http://habrahabr.ru/blogs/yandex/62731/#comment_1736073 http://habrahabr.ru/blogs/yandex/62731/#comment_1736073
Это смотря в какой промежуток времени: робот ходит постоянно, а хабраэффект волной накатывает и отпускает )]]> Tue, 23 Jun 2009 15:58:06 GMT Efor http://habrahabr.ru/blogs/yandex/62731/#comment_1736066 http://habrahabr.ru/blogs/yandex/62731/#comment_1736066 Tue, 23 Jun 2009 15:54:52 GMT vladimirko http://habrahabr.ru/blogs/yandex/62731/#comment_1736059 http://habrahabr.ru/blogs/yandex/62731/#comment_1736059
А YandexSomething надо ограничивать на всякий случай :).]]> Tue, 23 Jun 2009 15:51:26 GMT GreLI