Google удалил документ с часто задаваемыми вопросами о robots

Google удалил документ с часто задаваемыми вопросами о том, как работать с файлом и тегом robots. Джон Мюллер из Google написал в X (Twitter): «Мы время от времени обновляем документацию. Не стесняйтесь оставлять отзывы, если вам кажется, что чего‑то не хватает. Robots.txt по‑прежнему актуален».

Обращаем внимание, что документ с вопросами пока что доступен в русскоязычной Справке, однако в англоязычной ссылка уже не работает и переправляет на страницу «Общие сведения о файлах robots.txt»

Напоминаем, в документе «Часто задаваемые вопросы о robots» затрагивались:

• общие вопросы;

• вопросы о файле robots.txt;

• вопросы о метатеге с атрибутом robots;

• вопросы об HTTP‑заголовке X‑Robots‑Tag.

Также недавно в документации Google был замечен новый краулер Google‑Safety. Он сканирует сайт на различные злоупотребления — например, вредоносное ПО на ресурсах Google.