Googlebot — единственный поисковый робот, который может сканировать Twitter

Остальных роботов Twitter заблокировал в robots.txt.

Западные коллеги заметили, что Twitter обновил файл robots.txt и заблокировал всех поисковых ботов, кроме Googlebot. Теперь Яндекс и остальные поисковые системы, судя по всему, не смогут показывать ссылки в выдаче.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться

Теги: