Google Search Console выпустил новый отчёт robots.txt

Google выпустил новый отчёт robots.txt в GSC, обновил Справку в Search Console Help и намеревается прекратить поддержку валидатора robots.txt 12 декабря 2023 года. Как указано в Справке, новый отчёт robots.txt отображает:

• для доменных ресурсов найденные robots.txt для топ‑20 хостов;

• для ресурсов с префиксом URL корневой robots.txt;

• дату последнего сканирования файла, статус, размер и предыдущие версии;

• игнорируемые строки.

Также появилась возможность отправить robots.txt на ускоренный переобход. А вот как выглядит сам отчёт:

Также недавно в документации Google был замечен новый краулер Google‑Safety. Он сканирует сайт на различные злоупотребления — например, вредоносное ПО на ресурсах Google.