Google обновил документацию robots.txt
Руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.
Google обновил справочный документ «Спецификации файла robots.txt». Обновлённое руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.
В документе «Спецификации файла robots.txt» подробно описано, как Google обрабатывает файл robots.txt. Этот файл позволяет вебмастерам управлять сканированием и индексированием сайтов поисковыми роботами Google.
Обновлением спецификаций занимались сотрудники Google Гэри Иллис (Gary Illyes) и Лиззи Харви.
![Обновлённое руководство robots.txt](/controller/file/?src=/cloud/en/pages/journal/news/2021-04-google-updated-robots-txt-documentation/robots.png&w=578)
Получайте важные новости первыми в телеграм-канале Топвизор-Журнала:
Теги: