Metas egna AI-chatbot används för att ta över Instagram-konton

Uppgifter om övertagna konton redan i februari – problemet har alltså funnits i kanske fyra månader.

Det har cirkulerat uppgifter om en säkerhetsbrist i Metas AI-stöd på Instagram som gjorde det möjligt för angripare att ta över konton. Enligt rapporterna kunde metoden fungera även när tvåfaktorsautentisering var aktiverad, och den ska ha använts under flera månader innan Meta åtgärdade problemet.

TL;DR

  • Angripare använde prompt injection för att lura Meta AI-supporten på Instagram.
  • Metoden kunde enligt rapporter leda till kontokapningar även med 2FA aktiverat.
  • Attacken krävde bland annat att angriparen matchade offrets plats med VPN.
  • Ett exempel som nämns är det inaktiva Obama White House-kontot på Instagram.
  • Flera uppgifter tyder på att sårbarheten var aktiv i månader och påverkade tusentals konton.
  • Meta har nu enligt uppgift patchat felet, men frågan väcker nya säkerhetsbekymmer kring AI-baserad support.

Hur attacken ska ha fungerat

Enligt beskrivningarna skickade angriparen ett meddelande till Metas AI-assistent som på ytan såg ut som en vanlig begäran om hjälp. Meddelandet kunde till exempel innehålla kontonamnet, en påstådd ny e-postadress och en uppmaning om att koppla den till kontot. Om angriparen dessutom använde en VPN som matchade offrets geografiska plats, ska AI-systemet ha blivit lurad att behandla begäran som legitim.

Resultatet blev att assistenten skickade en länk för lösenordsåterställning direkt till angriparens e-postadress. På det sättet kunde kontot tas över utan att den verkliga ägaren godkände ändringen.

Kända fall och rapporterade konsekvenser

Ett av de mest uppmärksammade exemplen gäller det vilande Instagram-kontot för Obama White House. Kontot hade inte publicerat något sedan den 20 januari 2017, samma dag som Donald Trump tillträdde som president. Enligt rapporterna använde angriparna kontot för att publicera en märklig bild med texten “The White House is under Shiites’ control”.

Det finns också uppgifter om att andra användare drabbades under samma period. Neowin rapporterar att sårbarheten ska ha utnyttjats i praktiken i flera månader, från åtminstone februari i år, och att tusentals konton kan ha påverkats. Det har dessutom kommit klagomål från personer som fått lösenordsåterställningar utan att själva ha begärt dem. Bland dem finns appforskaren och reverse engineer Jane Manchun Wong, som uppgav att hennes konto också hade tagits över.

Metas AI-strategi och den större bilden

Meta beskriver sin AI-assistent som ett centralt och personligt verktyg som är tillgängligt dygnet runt på Facebook och Instagram. Till skillnad från traditionella hjälpsidor ska den kunna “agera för användaren” direkt i appen. Funktionen finns för inloggade användare globalt, och viss support erbjuds även för utloggade användare i USA och Kanada.

Det här passar in i Metas bredare satsning på generativ AI i sina tjänster. Sökfält i Facebook, Instagram och WhatsApp har ersatts med uppmaningar om att fråga Meta AI, och på Facebook har AI även dykt upp i kommentarsfält för att skriva sammanfattningar.

Samtidigt har Meta minskat personalstyrkan kraftigt och hänvisat till att AI-verktyg kan ta över delar av kundsupporten. Den här incidenten visar dock att när ett AI-system får möjlighet att utföra känsliga åtgärder direkt i en tjänst, ökar också kraven på säkerhet och kontroll.

Via Neowin

Mikael Anderberg är en veteran inom teknikvärlden med stor kännedom kring tillverkare, nya tekniker och produkter. Har mångårig erfarenhet från blogg- och it-världen vilken bidrar till utvecklingen av Tekniksmart tillsammans med andra entusiaster. Mikael har i grunden expertis inom fotografering och kamerautrustning, copywriter och content editing, och SEO. Läs mer om mig här.