OpenAI har släppt information om hur du blockerar deras crawler – GPT Bot – från att komma åt data på din webbsajt.
Med en crawler kan OpenAI använda datorer för att samla in information från webbsajter på internet och använda den till att träna framtida modeller för ChatGPT.
Det kanske är helt acceptabelt för sajter som Wikipedia vars syfte är att sprida så mycket information som möjligt, men just du kanske inte vill att OpenAI använder din data för att träna ChatGPT-modellerna.
Blockera GPT Bot – så gör du
För att blockera ”GPT Bot” så måste du lägga till en liten textrad i filen ”robots.txt”.
User-agent: GPTBot Disallow: /
Exakt hur du redigerar just din robots.txt beror på vilket system du använder för sajten, samt vilket webbhotell som du använder. Normalanvändaren kan använda en FTP-klient för att logga in på FTP-servern och öppna filen där.
Så här gör du med FileZilla:
- Öppna FileZilla och logga in på ditt FTP-konto
- Navigera i filstrukturen till root-mappen för din webbsajt
- Lokalisera och öppna robots.txt
- Kopiera och klistra in User-agent: GPTBot Disallow: / på en ny rad
- Spara och stäng textfilen
Kontrollera att datum- och tidstämpeln på filen ändras på serversidan. Då vet du att filen har uppdaterats.
Kontrollera att robots.txt fungerar korrekt
Ett tips är att alltid kontrollera om robots.txt-filen är korrekt formaterad efter att du har uppdaterat den.
Google har ett verktyg som gör det snabbt och smärtfritt. Det heter Robots Testing Tool och det är tillgängligt när du är inloggad i Google Search Console.
- Gå till Robots Testing Tool här
- Välj en verifierad webbsajt som du vill kontrollera
- Kontrollera att Google ser din uppdaterade robots.txt-fil
- Kontrollera att det inte visas några varningar
Om du ser din gamla robots.txt-fil så är det ingen fara, det tar en stund innan Google uppmärksammar att den har ändrats. Ser du gammal innehåll kan du antingen tömma din cache eller vänta några timmar innan du kollar igen.
FAQ
Hur blockerar jag crawlern GPT Bot?
Du lägger till raden ”User-agent: GPTBot Disallow: /” i filen robots.txt (utan ””).
Varför ska jag blockera GPT Bot?
GPT Bot är inget säkerhetshot mot din sajt. Men du kanske inte vill att din information ska användas till att träna modeller för ChatGPT, och då måste du blockera GPT Bot snarast.
Vad är GPT Bot?
GPT Bot är en så kallad crawler, eller spindel på svenska. Den letar efter sajter på internet och samlar information som kan användas till att träna AI-modellen bakom ChatGPT. Boten är helt harmlös i övrigt.