Что там опять
29.04.2021
Google обновил документацию robots.txt
Руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.
Google обновил справочный документ «Спецификации файла robots.txt». Обновлённое руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.
В документе «Спецификации файла robots.txt» подробно описано, как Google обрабатывает файл robots.txt. Этот файл позволяет вебмастерам управлять сканированием и индексированием сайтов поисковыми роботами Google.
Обновлением спецификаций занимались сотрудники Google Гэри Иллис (Gary Illyes) и Лиззи Харви.
Получайте важные новости первыми в телеграм-канале Топвизор-Журнала:
Теги: