Google советует использовать аутентификацию для dev-версии сайта

Джон Мюллер подтвердил, что лучший способ заблокировать сканирование и последующую индексацию тестовой версии сайта – аутентификация.

Использование аутентификации (имя пользователя/пароль) позволит избежать случайной загрузки блокирующего метатега robots.txt или robots, а также предотвратить индексацию страниц. Это лучшее долгосрочное решение для dev-версии сайта.

Запрос на удаление почти сразу скроет тестовую версию в поиске. Это даст дополнительное время, чтобы найти оптимальное решение для сайта. Использование disallow в robots.txt может приводить к индексации URL-адресов (без сканирования).