Google предупреждает пользователей о возможном фейковом трафике Googlebot

Google предупреждает пользователей о возможном фейковом трафике Googlebot

Мартин Сплитт, специалист по разработке в Google, настоятельно рекомендует владельцам сайтов быть бдительными в отношении трафика, который может маскироваться под Googlebot. Многие запросы, которые выглядят как запросы от Googlebot, на самом деле могут быть выполнены сторонними сканерами.

В последнем эпизоде Google's SEO Made Easy Мартин подчеркнул, что не все, кто представляется как Googlebot, действительно им являются. Фальшивые краулеры могут искажать аналитику, потреблять ресурсы и затруднять точную оценку эффективности вашего сайта.

Чтобы отличить настоящий трафик Googlebot от поддельных краулеров, следует обратить внимание на общую картину трафика, а не только на необычные запросы.

Настоящий трафик Googlebot обычно характеризуется постоянной частотой запросов, временем их выполнения и поведением.

Сплитт также отметил, что важно отслеживать ответы сервера на запросы сканирования, в частности:

• ошибки серии 500;
• ошибки выборки;
• Тайм‑ауты;
• проблемы с DNS.

Эти факторы могут существенно повлиять на эффективность сканирования и видимость в поиске для крупных сайтов с миллионами страниц.

Сплитт советует: «Обратите внимание на ответы вашего сервера Googlebot, особенно на большое количество 500 ответов, ошибки выборки, таймауты, проблемы с DNS и другие аспекты».

Он подчеркивает, что хотя некоторые ошибки могут быть временными, постоянные проблемы «могут потребовать дальнейшего рассмотрения».

Для более глубокого анализа и диагностики Сплитт рекомендует анализировать журналы сервера, хотя и признает, что это «не самая простая задача».