makasin4ik Mar 7 2023 at 12:30

Топ 20 ботов которые постоянно сканируют ваши сайты. Не все из них одинаково полезны

Easy

15 min

9.4K

offlineCRM: Бесплатная CRM для самозанятых corporate blogSearch engines*Search engine optimization*

Review

-6

Comments 4

SHOROOP Mar 7 2023 at 14:18

Разумеется Yandex Bot подчиняется указаниям файла robots.txt.

Вообще, судя по документации (и по опыту), подчиняется не всегда.

Если открыть доку Вебмастера, то сразу же в глаза попадет вот такое примечание:

Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса.

Думаю, Вы согласитесь, что "разумеется, подчиняется" - уже не слишком соответствует реальности.

Плюс, насколько я помню, боты Яндекса игнорируют Crawl-delay и ориентируются только на настройки в Вебмастере, несмотря на то, что сейчас в документации поддержка директивы заявлена.

atoster Mar 16 2023 at 13:19

Никакого противоречия не вижу. robots.txt запрещает роботам сканировать сайт, но не запрещает поисковикам показывать страницы. Если поисковик ранее просканировал разрешенную в robots.txt страницу, то он ее может показывать даже после того как вы отредактируете robots.txt.

SHOROOP Mar 16 2023 at 14:05

Вот из доки Яндекса как раз и не очевидно, касается это ранее просканированных страниц или нет. Я от худшего варианта отталкиваюсь.

Pogan Mar 7 2023 at 15:18

Дорогой автор, Вы явно перепутали конец предложения и конец абзаца. Рябит в глазах, как тельняшка. Ну и милые повторные пассажи про то, как необходимы боты, чуть ли не в каждом разделе. Оцениваю тошноту текста примерно в 8 баллов из 10.