Апдейт❗Проверки в Яндекс Search API частично возобновлены. Запустить их можно и вручную, и автоматически в период с 20:00 по 05:59 по московскому времени. Для проверок, запущенных между 20:00 и 23:59, данные будут доступны в проектах не ранее полуночи. Как задать расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

Google обновил документацию robots.txt

Руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.

Google обновил справочный документ «Спецификации файла robots.txt». Обновлённое руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.

В документе «Спецификации файла robots.txt» подробно описано, как Google обрабатывает файл robots.txt. Этот файл позволяет вебмастерам управлять сканированием и индексированием сайтов поисковыми роботами Google.

Обновлением спецификаций занимались сотрудники Google Гэри Иллис (Gary Illyes) и Лиззи Харви.

Обновлённое руководство robots.txt
Обновлённое руководство robots.txt
Получайте важные новости первыми в телеграм-канале Топвизор-Журнала:

Подписаться

Теги: