Помощь → Правила обращения к информации, опубликованной на проекте habrahabr.ru, автоматическими системами сбора данных
Данный документ описывает требования, обязательные для выполнения при обращении к данным проекта автоматическими системами (ботами, индексаторами, агрегаторами и другими).
1. Ограничения по скорости обращений
1.1 Общие правила:
При обращении более двух раз, ботам разрешается запрашивать один и тот же документ (адрес документа определяется URI вида http://[username.]habrahabr.ru/[document]) не чаще одного раза в минуту.
1.2 Правила обращения к документам из раздела http://habrahabr.ru/api/
Допускается обращение к разным документам из данного раздела с частотой не более 2-х соединений в секунду.
1.3 Правила обращения к документам из раздела http://habrahabr.ru/rss/
Допускается обращение к разным документам из данного раздела с частотой не более 3-х соединений в секунду.
1.4 Правила обращения к остальным документам
Обращение к прочим документам проекта разрешается только публичным поисковым системам с частотой не более 5 соединений в секунду. При упоминании в результатах поиска материалов проекта http://habrahabr.ru/ данные поисковые системы обязаны предоставлять корректную HTML-ссылку на первоисточник, то есть на соответствующий документ проекта http://habrahabr.ru/, из которого данные материалы были получены.
2. Требование к HTTP-заголовку «User-Agent»
Не допускается какое-либо обращение к ресурсам проекта без указания корректного значения поля «User-Agent».
Поле «User-Agent» должно содержать следующую информацию:
- Название автоматической системы
- Полный адрес Интернет-ресурса, содержащего информацию о данной системе и контактную информацию её владельцев
Администрация оставляет за собой право ограничить или полностью запретить доступ к ресурсам проекта тем системам, действия которых противоречат описанным выше правилам.
Все вопросы, связанные с согласованием действий автоматических систем сбора данных, направляйте по адресу support@habrahabr.ru.