Google: межстраничные объявления должны передавать код ответа 500

Джон Мюллер в Twitter рекомендовал хостинговым компаниям, которые используют межстраничные объявления, как способ обнаружения роботов, не использовать код 200 в связке с noindex.

В противном случае страницы с подобными объявлениями могут быть исключены из поиска Google. 

Чтобы этого избежать, лучше убрать noindex и использовать код ответа сервера 5xx, который поможет Googlebot пройти межстраничные объявления.

If you run a hosting service, and have a "you might be a bot" interstitial, make sure it uses a non-200 HTTP result code (perhaps 503), and that it doesn't have a noindex on it. Serving a noindex+200 will result in pages being dropped from search, if search engines see it. pic.twitter.com/LFGQcq2dzf

— ? John ? (@JohnMu) January 17, 2022

Чтобы убедиться, что Googlebot не сканирует эти страницы, Джон Мюллер посоветовал обратить внимание на рекомендации из Центра Поиска Google.