Проверки в Яндекс Search API проходят в ограниченном режиме в ночное время. Планируйте запуск проверок с 00:00 до 04:59 по московскому времени и обязательно проверьте, что в Настройках аккаунта выставлен верный часовой пояс. Как установить расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

Google обновил документацию robots.txt

Руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.

Google обновил справочный документ «Спецификации файла robots.txt». Обновлённое руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.

В документе «Спецификации файла robots.txt» подробно описано, как Google обрабатывает файл robots.txt. Этот файл позволяет вебмастерам управлять сканированием и индексированием сайтов поисковыми роботами Google.

Обновлением спецификаций занимались сотрудники Google Гэри Иллис (Gary Illyes) и Лиззи Харви.

Обновлённое руководство robots.txt
Обновлённое руководство robots.txt
Получайте важные новости первыми в телеграм-канале Топвизор-Журнала:

Подписаться

Теги: