Измените языковые настройки Топвизор для работы с сервисом на родном языке. Вы также сможете выбрать и установить язык интерфейса позже в настройках Аккаунта. Измените языковые настройки Топвизор для работы с сервисом на родном языке. ru Русский Выбрать

Google советует использовать аутентификацию для dev-версии сайта

Google советует использовать аутентификацию для dev-версии сайта

Джон Мюллер подтвердил, что лучший способ заблокировать сканирование и последующую индексацию тестовой версии сайта – аутентификация.

Использование аутентификации (имя пользователя/пароль) позволит избежать случайной загрузки блокирующего метатега robots.txt или robots, а также предотвратить индексацию страниц. Это лучшее долгосрочное решение для dev-версии сайта.

Запрос на удаление почти сразу скроет тестовую версию в поиске. Это даст дополнительное время, чтобы найти оптимальное решение для сайта. Использование disallow в robots.txt может приводить к индексации URL-адресов (без сканирования).

А лучший способ ловить актуальные новости – наш телеграм-канал. Собираем новости для вас, чтобы утренний кофе стал полезнее:

Подписаться 

Теги: google
25 0
Оставьте свой комментарий
Чтобы оставить комментарий, авторизуйтесь

Советуем почитать

Как закрыть сайт от индексации дублей в Яндексе

Как закрыть сайт от индексации дублей в Яндексе

Что делать, если в robots.txt прописано всё, что можно, но Яндекс всё равно индексирует страницу.
Как оптимизировать краулинговый бюджет

Как оптимизировать краулинговый бюджет

Рассказываем, как узнать краулинговый бюджет вашего сайта и 12 способов оптимизировать его — рекомендации SEO-специалистов.
Что такое веб-скрейпинг и как он работает

Что такое веб-скрейпинг и как он работает

Что такое web-scraping и зачем он нужен. Как он работает и чем отличается от парсинга. Насколько законно извлекать данные с сайта и как их применять. Какие сервисы лучше использовать для безопасного веб-скрейпинга: список проверенных инструментов.