У Google появился новый сканер GoogleOther

Google добавил новый сканер GoogleOther в список краулеров и пользовательских агентов. Напротив добавил описание: «Универсальный сканер, который могут использовать группы разработчиков для извлечения общедоступного контента с сайтов. Например, его можно использовать для разового обхода страниц с внутренними исследованиями и разработками».

GoogleOther подчиняется правилам robots.txt и использует те же диапазоны IP‑адресов, что и Googlebot.

Гэри Иллис — представитель Google, сообщил, что новый поисковый робот возьмёт на себя некоторые задачи робота Googlebot, например, сканирование исследований и разработок. Это, в свою очередь, высвободит ресурсы Googlebot.

По словам Гэри, новый сканер использует ту же инфраструктуру, что и Googlebot, имеет схожие ограничения и функции: ограничения загрузки хоста, robots.txt, версия протокола http, размер выборки. По сути, GoogleOther — тот же Googlebot, но под другим именем.