Google обновил справочную документацию по отчёту «Статистика сканирования»

На прошлой неделе Google обновил справочную документацию по отчёту о статистике сканирования. Изменения заметил Броди Клад и опубликовал информацию у себя в Twitter. Среди нового в документации:

• Примечание о robots.txt 404. Ошибка 404 Not Found считается успешной и означает, что файла robots.txt нет. Это значит, Google может сканировать любые страницы сайта.

• Пояснение о временном интервале. Если последний ответ на запрос robots.txt был неуспешным или был сделан более чем 24 часа назад, Google повторно запрашивает файл. Если ответ на запрос неуспешный, то в течение первых 12 часов Google остановит сканирование сайта, но продолжит запрашивать robots.txt. После этого в период от 12 часов до 30 дней Google будет использовать для сканирования последнюю успешно полученную версию файла, но всё ещё продолжит отправлять запросы. После 30 дней для сканирования будет использована домашняя страница.

• Если домашняя страница сайта доступна, Google будет действовать так, будто файла robots.txt нет, и сканировать без ограничений. Если домашняя страница недоступна, Google прекратит сканирование сайта. В течение всего этого процесса Google продолжит отправлять запросы файла robots.txt.

Вот сделанное Броди сравнение документации до и после обновления: