company_banner

Выявляем заблокированные ресурсы при помощи инструментов Google для веб-мастеров

http://googlewebmastercentral.blogspot.com/2015/03/unblocking-resources-with-webmaster.html
  • Перевод
Привет, Хабрахабр! Так уже получилось, что современный web-контент буквально стоит на трёх китах: HTML5, CSS3 и Javascript. Тесная интеграция этих трёх инструментов позволяет создавать поистине впечатляющие результаты, но сегодня речь не о достижениях современной веб-инсдустрии, а о том, как эти достижения правильно донести до пользователей.

За отображение вашего сайта у пользователей, само собой, отвечают браузеры. Но как видит сайт поисковая система? Что она увидит, если часть контента (картинки, таблицы стиля, скрипты) будет закрыта от сканирования? Что увидят пользователи в результатах поиска, если Google не сможет проиндексировать весь необходимый контент? Специально для ответа на эти вопросы (а также для исправления некоторых недоразумений, мешающих вам находить своих пользователей в Google) мы создали инструмент «Отчёт о заблокированных ресурсах».

Сегодня мы представляем его широкой аудитории разработчиков и веб-мастеров, и вы можете познакомиться с ним и опробовать возможности нового инструмента одними из первых.

Вот так выглядит отчёт о проверке:
Заблокированные ресуры в Инструментах для веб-мастеров

Внутри отчёта вы найдёте список недоступных для Googlebot’а хостов, на которые ссылается ваш сайт. Это могуть быть ссылки на изображения, CSS, библиотеки и модули JavaScript.

Каждая строка кликабельна и содержит список ресурсов, которые находятся на данном хосте, а также страниц вашего сайта, на которых они находятся. Система предложит вам некоторые возможные решения проблем, связанных с индексированием контента.

Посмотреть как Googlebot: теперь два скриншота вместо одного


Мы также обновили режим «Получить и отобразить» (Fetch and Render): если раньше он показывал ваш сайт только с точки зрения Googlebot’а, то теперь вы будете получать сразу два скриншота, один — с результатом рендеринга страницы для поискового робота Google, другой — для посетителей сайта. Сопоставив эти изображения, вы сможете легко выявить возможные проблемы.

Сканировать, получить и отобразить

Мы прекрасно понимаем, что у веб-мастеров не всегда есть возможность повлиять на поведение внешних ресурсов. В Инструментах для веб-мастеров мы стараемся отображать только те хосты, настройки сканирования которых вы можете изменить. В списке «проблемных мест» вы не увидите URL-адреса, связанные с некоторыми внешними ресурсами, например, популярными сервисами веб-аналитики.

Мы постарались исключить из списка наиболее очевидные ресурсы, но если вам всё же попадётся что-то, чему, как вам кажется, там не место, дайте нам знать. Мы внимательно следим за отзывами веб-мастеров и разработчиков о наших инструментах и стараемся оперативно реагировать на все замечания и предложения, поступающие к нам на форум.

В силу различных (и необязательно технических) причин обновление всех файлов robots.txt может занять много времени, поэтому мы рекомендуем начать с ресурсов, блокировка которых сильнее всего влияет на отображение страницы. Подробные инструкции вы найдете в этой статье.

Мы надеемся, что наши новые инструменты помогут вам быстрее обнаруживать заблокированные ресурсы на сайте и исправлять их. Если у вас есть вопросы — задавайте их в комментариях, у нас на форуме или в сообществе для веб-мастеров.
  • +12
  • 15,2k
  • 5
Google 179,84
Филин Лаки
Поделиться публикацией
Похожие публикации
Комментарии 5
  • +3
    спасибо, нашел пару лишних запретов в robots.txt ;)
    • 0
      Раз речь про заблокированные ресурсы… Вот рекомендации для веб-мастеров.

      В тексте написано: «Примите надлежащие меры, чтобы не допустить влияния рекламы на рейтинг вашего сайта в поисковых системах. Например, объявления Google AdSense и ссылки DoubleClick исключаются из сканирования в файле robots.txt ».

      Теперь пример из жизни: есть сайт, на сайте баннер, около баннера текст «Покупайте наших слонов». Я не хочу чтобы эта фраза индексировалась, т.к. по сути это реклама. Вывод: сделаю размещение баннера из js-файла «на лету», и зарежу этот js-файл в robots.txt
      В итоге — отображение для гугл-бота будет «без баннера», а для людей баннер будет.

      Корректно ли это? Не будет ли пенальти? Баннер не adsense, считаем «свой собственный».

      • 0
        В абстрактном смысле так, как Вы это описали, может быть вполне корректно. Не стоит только этим баннером закрывать ни всю страницу, ни полезные её части – пользователи не поймут.
      • +1
        BSOD на скриншоте пока я один поймал? :-)
        • 0
          у меня тоже мелькнуло разок

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое