OpenAI рассказал, как запретить ChatGPT использовать содержимое сайта для обучения

OpenAI рассказал, как запретить ChatGPT использовать содержимое сайта для обучения. Это можно сделать в robots.txt так:

User‑agent: GPTBot

Disallow: /

Либо заблокировать на уровне веб‑сервера:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Ещё можно дать ограниченный доступ к некоторым частям сайта. Надо добавить токен GPTBot в файл robots.txt вашего сайта следующим образом:

User‑agent: GPTBot

Allow: /directory‑1/

Disallow: /directory‑2/

Наконец можно ограничить доступ для диапазона IP, а именно:

• 20.15.240.64/28

• 20.15.240.80/28

• 20.15.240.96/28

• 20.15.240.176/28

• 20.15.241.0/28

• 20.15.242.128/28

• 20.15.242.144/28

• 20.15.242.192/28

• 40.83.2.64/28