Att söka information på Google innebär i dag att möta AI Overviews, en sammanfattning som visas högst upp i sökresultaten och drivs av Googles AI‑modell Gemini. Tjänsten ska ge snabba svar, men en ny granskning visar att den fortfarande har stora problem med felaktigheter.
- AI Overviews svarar rätt i ungefär 90 procent av fallen.
- Det innebär att 1 av 10 svar är fel.
- Med Googles enorma trafik blir det miljontals fel varje dag.
- Testet byggde på över 4 000 frågor med kända, verifierbara svar.
- Google ifrågasätter testmetoden och menar att den inte speglar riktiga sökningar.
- Google påminner själv användare om att AI kan göra misstag och bör dubbelkollas.
Lästips: Bekräftat: Google AI Overviews är dåligt för de flesta webbsajterna
Så testades träffsäkerheten
The New York Times genomförde analysen tillsammans med AI‑bolaget Oumi. De använde ett test som heter SimpleQA. Testet innehåller över 4 000 faktabaserade frågor med svar som går att kontrollera.
Oumi körde testet första gången när Gemini 2.5 var Googles bästa modell. Då låg träffsäkerheten på 85 procent. Efter uppdateringen till Gemini 3 steg resultatet till 91 procent.
90 procent låter högt. Men Google hanterar miljarder sökningar. Om 10 procent av svaren är fel betyder det tiotals miljoner felaktiga svar varje dag.
Exempel på fel
Granskningen visar flera konkreta misstag.
En fråga gällde vilket år Bob Marleys tidigare hem blev museum. AI Overviews hänvisade till tre källor. Två nämnde inget årtal. Den tredje, Wikipedia, visade två olika år. AI Overviews valde självsäkert fel år.
En annan fråga handlade om när Yo‑Yo Ma valdes in i Classical Music Hall of Fame. AI Overviews länkade till organisationens webbplats där hans inval stod listat. Samtidigt påstod sammanfattningen att någon sådan institution inte existerar.
Felen handlar alltså inte bara om små detaljer, utan ibland om direkta motsägelser.
Lästips: Google skriver om rubriker med AI – kan minska trovärdigheten för sökresultatet
Oenighet om hur man ska mäta AI
Google kritiserar testet. Företaget menar att SimpleQA innehåller felaktigheter och inte speglar vad människor faktiskt söker efter. Google använder i stället ett eget test som heter SimpleQA Verified, med färre men mer noggrant granskade frågor.
Att mäta AI‑modeller är svårt. Generativ AI ger inte alltid samma svar två gånger på samma fråga. En modell kan svara rätt ena gången och fel nästa. Oumi använder dessutom AI för att genomföra testerna, och även sådana verktyg kan hitta på information.
AI Overviews bygger inte heller på en enda modell. Google väljer modell beroende på fråga. Den mest kraftfulla versionen, Gemini 3.1 Pro, ger bäst svar men arbetar långsammare och kostar mer. Därför använder Google ofta snabbare och enklare versioner för att leverera svar direkt på söksidan.
Lästips: Google dödar trafiken till webbsajter med AI-söken – upp till 97% minskad trafik
Är 90 procent tillräckligt?
Inom AI‑världen ses 90 procents träffsäkerhet som relativt bra. Många modeller ligger mellan 60 och 80 procent i liknande tester utan tillgång till webbsökning.
När AI Overviews kopplar samman modellen med information från internet ökar träffsäkerheten. Samtidigt finns källorna redan tillgängliga via de blå länkarna i sökresultatet. Problemet uppstår när användare nöjer sig med AI‑sammanfattningen och inte kontrollerar källorna själva.
Google skriver under varje AI‑översikt: ”AI can make mistakes, so double-check responses.” Företaget erkänner alltså att fel förekommer.
Frågan är om 1 fel av 10 är acceptabelt för en tjänst som miljarder människor använder för att hitta fakta varje dag.
