Forskare på SemiAnalysis har analyserat AI-tjänsten ChatGPT och tror sig veta vad den kostar att hålla igång för användarna.
Det kostar ofantliga summor att göra alla beräkningar som krävs för att ChatGPT ska leverera sina svar till de hundratals miljoner användare som nyttjar tjänsten idag. Om vi ska tro SemiAnalysis så kan det röra sig om 9 miljoner kronor per dag.
Varje fråga skulle i så fall kosta cirka 5 kronor.
Den absoluta merparten av kostnaden går till infrastrukturen med avancerad och kraftfull hårdvara som moderbolaget OpenAI behöver för att driva allt.
Lästips: Nu säljs premiumkonton för ChatGPT på Dark Web
Så här skriver SemiAnalysis i ett blogginlägg:
Att uppskatta kostnaderna för ChatGPT är en knepig uppgift på grund av flera okända variabler. Vi har byggt en kostnadsmodell som visar att ChatGPT kostar $694 444 per dag att driva i kostnader för datorhårdvara. OpenAI kräver cirka 3 617 HGX A100-servrar (28 936 GPU:er) för att betjäna ChatGPT.
Notera att kostnaden och uträkningen är gjord på gamla GPT-3. Det är sannolikt att senaste GPT-4 är märkbart dyrare, vilket betyder att OpenAI kanske behöver lägga ut mer än de 9 miljoner kronor som vi nämner ovan.
Och då ChatGPT är snabbt växande så är risken stor att den kostnaden kommer att öka ännu mer under en överskådlig framtid.
Det finns några sätt att minska kostnaderna för OpenAI. Bland annat genom att minska antalet frågor som får ställas av gratisanvändarna, och genom att öka fördelarna för Plus-användarna så att fler månadsprenumererar.
Ett annat sätt är att använda effektivare hårdvara som gör fler beräkningar per krona. The Insider har tidigare rapporterat att Microsoft arbetar på en dedikerad AI-krets som ska minska kostnaderna rejält.
Lästips: ChatGPT & AI i din iPhone med smart genväg
Visste du: Om ChatGPT-modellen skulle användas av Google så beräknas kostnaden landa på 36 miljarder dollar enbart för ”LLM-inferenskostnader”.
Om alla som söker på Google fick tillgång till ChatGPT för varje enskild sökning så skulle det krävas 512 820 HGX A100-servrar med totalt 4 102 568 A100-grafikkretsar. Kostnaden för det skulle överstiga 100 miljarder dollar menar SemiAnalysis.
Det här är Nvidia HGX A100
HGX A100 är en typ av serverplattform som tillverkas av företaget Nvidia och är optimerad för att driva avancerade datadrivna applikationer som AI och maskininlärning.
HGX A100-plattformen använder Nvidias A100 Tensor Core GPU, som är en av de mest kraftfulla grafikkorten för AI-beräkningar på marknaden.
Plattformen är utformad för att stödja hög prestanda och skalbarhet genom att möjliggöra sammanfogning av flera enheter för att bygga stora kluster av datorer som kan hantera enorma mängder data och genomföra komplexa AI-algoritmer.
Lästips: Hur fungerar ChatGPT och vad är generativ AI?
Förklaring till LLM-inferenskostnader
LLM står för ”Large Language Model”, vilket är en typ av modell inom artificiell intelligens som används för att hantera och generera naturligt språk.
LLM-inferenskostnader avser de kostnader som uppstår när en LLM-modell används för att bearbeta och tolka användarfrågor eller textinmatningar, som till exempel sökfrågor på en sökmotor.
Kostnaderna uppstår från den höga datorkraft som krävs för att köra avancerade algoritmer som används för att göra de här beräkningarna och bearbeta datan i realtid. Ju större och mer komplex LLM-modellen är, desto högre blir LLM-inferenskostnaderna.