Google ежедневно сканирует 4 миллиарда сайтов на наличие файла robots.txt

Во время декабрьского выпуска подкаста Search Off The Record Гэри Иллис сообщил, что Google ежедневно сканирует 4 миллиарда сайтов на наличие файла robots.txt. Вероятно, это не все сайты: в них также входят CDN‑домены с картинками, домены с редиректами.

При этом в ходе процесса по антимонопольному делу фигурировала цифра в 400 млрд документов в индексе Google.

Кстати, недавно в интернете был обнаружен патент Google на SGE (Search Generative Experience). В патенте говорится, что для создания обобщения может быть использовано более одной генеративной модели, приводятся подробности, как работают ссылки на источники и как проверяются ответы на достоверность.