Stora språkmodeller som GPT-5 har blivit allt bättre på att förstå och generera text – men de har fortfarande ett grundläggande problem: de hittar ibland på svar. Fenomenet kallas ”hallucinationer” och innebär att modellen levererar ett påstående som låter trovärdigt men som i själva verket är felaktigt.
Viktigt att veta
- AI-modeller som GPT-5 kan fortfarande ”hallucinera” – alltså hitta på svar som låter trovärdiga men är fel.
- Orsaken är att modellerna tränas för att förutsäga nästa ord, inte för att avgöra vad som är sant eller falskt.
- Vanliga fakta hanteras väl, men ovanliga eller sällsynta fakta leder ofta till felaktiga svar.
- Dagens tester belönar träffsäkerhet, vilket gör att modellerna hellre gissar än erkänner osäkerhet.
- Självsäkra fel blir därmed vanligare än ärliga ”Jag vet inte”-svar.
- OpenAI föreslår nya metoder som straffar felaktiga gissningar hårdare än osäkerhet.
- Modeller kan också få delvis poäng för att säga ”Jag vet inte”.
- Hallucinationer kommer inte helt försvinna, men kan minska kraftigt med rätt incitament.
Varför händer det?
En ny forskningsartikel från OpenAI pekar på att orsaken ligger i hur modellerna tränas och utvärderas. De tränas för att förutsäga nästa ord i en text, inte för att avgöra om något är sant eller falskt. Det gör att de hanterar språkliga mönster väl, men misslyckas när det gäller ovanliga fakta.
Problemet förstärks av att utvärderingar av AI-modeller nästan alltid fokuserar på ren träffsäkerhet. Ett system som chansar har då större chans att få rätt ibland – och därför belönas det mer än en modell som erkänner osäkerhet.
Forskarna jämför det med ett flervalsprov: att gissa ger chans på poäng, medan att lämna blankt garanterar noll. På samma sätt premieras AI-modeller som chansar, trots att det ofta leder till självsäkra men felaktiga svar.
Så kan hallucinationerna minska
OpenAI menar att lösningen är att förändra hur modellerna utvärderas. I stället för att bara räkna antal korrekta svar bör systemet:
- Straffa självsäkra fel hårdare än uttryck för osäkerhet.
- Belöna delvis när en modell säger ”Jag vet inte” i stället för att gissa.
- Bygga in osäkerhet som en accepterad del av svaren, inte som ett misslyckande.
Forskarna påpekar också att vissa frågor helt enkelt inte går att besvara korrekt, exempelvis när information saknas eller är tvetydig. Då är det bättre att modellen håller tillbaka än att ”ljuga med övertygelse”.
Hallucinationer kommer inte helt försvinna – men de kan minskas rejält om incitamenten för AI-modeller ändras. En modell som erkänner sina begränsningar kan i längden vara mer användbar och pålitlig än en som alltid låtsas veta svaret.
FAQ
Vad betyder det att en AI ”hallucinerar”?
Det betyder att modellen hittar på ett svar som låter trovärdigt men som inte är sant.
Varför händer det?
För att modellen tränas på att förutspå nästa ord i en text, inte på att avgöra om informationen är korrekt.
Varför låter AI så självsäker även när den har fel?
För att den premieras för att ge ett bestämt svar – inte för att uttrycka osäkerhet.
Kan inte mer träning ta bort problemet?
Inte helt. Vissa frågor är för ovanliga eller tvetydiga för att kunna besvaras korrekt av en språkmodell.
Kan en AI säga ”Jag vet inte”?
Ja, och forskarna menar att det borde uppmuntras i stället för att ses som ett misslyckande.
Kommer hallucinationer alltid finnas kvar?
Troligen i någon form, men de kan minska kraftigt om modellerna får rätt incitament.