Новости
08.04.2021
841
Google советует использовать аутентификацию для dev-версии сайта
Джон Мюллер подтвердил, что лучший способ заблокировать сканирование и последующую индексацию тестовой версии сайта – аутентификация.
Использование аутентификации (имя пользователя/пароль) позволит избежать случайной загрузки блокирующего метатега robots.txt или robots, а также предотвратить индексацию страниц. Это лучшее долгосрочное решение для dev-версии сайта.
Запрос на удаление почти сразу скроет тестовую версию в поиске. Это даст дополнительное время, чтобы найти оптимальное решение для сайта. Использование disallow в robots.txt может приводить к индексации URL-адресов (без сканирования).
А лучший способ ловить актуальные новости – наш телеграм-канал. Собираем новости для вас, чтобы утренний кофе стал полезнее:
Оставьте свой комментарий
Чтобы оставить комментарий, авторизуйтесь
Советуем почитать
Как закрыть сайт от индексации дублей в Яндексе
Что делать, если в robots.txt прописано всё, что можно, но Яндекс всё равно индексирует страницу.

Как оптимизировать краулинговый бюджет
Рассказываем, как узнать краулинговый бюджет вашего сайта и 12 способов оптимизировать его — рекомендации SEO-специалистов.

Что такое веб-скрейпинг и как он работает
Что такое web-scraping и зачем он нужен. Как он работает и чем отличается от парсинга. Насколько законно извлекать данные с сайта и как их применять. Какие сервисы лучше использовать для безопасного веб-скрейпинга: список проверенных инструментов.
