Google планирует найти альтернативы robots.txt

Google изучает альтернативные способы управления сканированием и индексированием помимо протокола robots.txt. «Мы считаем, что настало время веб‑сообществам и сообществам искусственного интеллекта изучить дополнительные машиночитаемые средства, которые помогут вебмастерам контролировать, как поисковые системы сканируют их контент», — пишет Google в блоге.

Google заявил, что приглашает к разработке нового протокола издателей, гражданское общество, учёных и представителей других областей со всего мира. Про сроки говорить пока рано, поскольку всё на уровне обсуждений. Присоединиться может любой — надо лишь зарегистрироваться на сайте и подождать, когда Google пришлёт больше информации.