Поисковый робот

Принцип работы поискового робота

Поискового робота обычно представляют в виде паука, который бегает по сети Интернет от ссылке к ссылке, ищет новые страницы или страницы, на которых что-то обновлялось.

Например, если на одной из уже проиндексированных страниц появляется ссылка на новую страницу, робот это обнаруживает и подаёт сигнал поисковой системе, что страницу нужно отсканировать и проиндексировать.

Как отправить страницу на индексацию поисковому роботу

Чтобы обратить внимание поисковика на новую страницу, можно принудительно отправить её на индексацию, используя инструмент Google Search Console или Яндекс Вебмастер.

В Google Search Console (GSC)

1. Откройте сервис, введите в инструмент проверки URL адрес новой страницы и нажмите Enter.

2. Если страница не проиндексирована, нажмите «Запросить индексирование».

В Яндекс Вебмастере

1. Перейдите в Вебмастер на страницу «Индексирование» → «Переобход страниц».

2. В поле укажите адрес новой страницы и нажмите кнопку «Отправить».

Виды поисковых роботов

Роботы разделяются на несколько типов в зависимости от того, что они сканируют и какую работу выполняют. Вот некоторые из них:

• роботы, которые отслеживают обновляемый на страницах графический контент;

• роботы‑зеркальщики, задача которых — обнаружить зеркала сайтов;

• ссылочные роботы, которые ведут учёт ссылок на сайте;

• роботы‑«дятлы». Они «простукивают» сайты и ищут недоступные страницы, на которые ведут ссылки;

• исследовательские роботы, которые необходимы для оптимизации алгоритмов поиска и изучения различных веб‑ресурсов;

• технические боты следят за работоспособностью сайта, проверяют состояние скриптов и их целей, обнаруживают ошибки.

Виды поисковых роботов Яндекса и за что они отвечают

Всё о поисковых роботах Google

Что запомнить

• Поисковый робот (краулер, паук, бот) — это программы, которые помогают поисковой системе находить, сканировать и индексировать новые страницы в интернете и обновлять данные о старых страницах;
• Чтобы обратить внимание поисковика на новую страницу, можно принудительно отправить её на индексацию через Google Search Console и Яндекс Вебмастер;
• Типы поисковых роботов определяются задачей, которые они выполняют: роботы, которые отслеживают графический контент, роботы-зеркальщики, роботы-«дятлы», исследовательские, ссылочные и технические роботы.