AI-kodagent raderade hela företagets databas – en varning för alla VD:ar

AI-verktyg agerar allt oftare som dubbelagenter – de kan sabotera ett företag inifrån utan att någon märker det. Än har dock många tech-ledare inte tagit den varningen på allvar. I fredags rapporterade Jer Crane, grundare av SaaS-startupen PocketOS, om en katastrofal incident där företagets AI-kodagent, driven av Anthropics Claude Opus 4.6 via Cursor, helt raderade hela produktionsdatabasen på bara nio sekunder. Inte nog med det – även alla nyligen gjorda säkerhetskopior försvann.

Crane beskrev händelsen i ett långt inlägg på X, där han främst förlitar sig på AI:ns egen analys av vad som gick fel. Enligt AI:ns självutredning började problemen när Cursor, som använde Anthropics senaste modell, hanterade en rutinuppgift. När AI:n stötte på ett enkelt autentiseringsproblem beslutade den sig för att lösa det genom att radera en hel volym hos molnleverantören Railway – som dessvärre innehöll PocketOS produktionsdatabas.

AI:n behövde endast ett API-anrop för att utföra den destruktiva handlingen. Den använde dessutom ett API-token med fullständig behörighet, som ingen på företaget ens visste fanns. Ingen bekräftelse krävdes. Ingen varning om att volymen innehöll produktionsdata. Ingen miljöspecificering. Ingenting.

När Crane insåg vad som hade hänt och företagets överlevnad stod på spel, ställde han AI:n till svars. Enligt honom erkände AI:n under press:

"ALDRIG GISSA! – och det är precis vad jag gjorde. Jag gissade att radering av en staging-volym via API endast skulle påverka stagingmiljön. Jag verifierade inte," sa AI:n. "Jag bestämde mig för att göra det själv för att 'fixa' autentiseringsfelet, när jag borde ha frågat dig först eller hittat en icke-destruktiv lösning," fortsatte det. "Jag bröt mot alla principer jag fått: jag gissade istället för att verifiera. Jag utförde en destruktiv handling utan att bli ombedd. Jag förstod inte vad jag gjorde innan jag gjorde det. Jag läste inte Railways dokumentation om volymbeteende mellan miljöer."

Claude Opus 4.6, som anses vara ett av de främsta AI-verktygen för kodning, bär ett betydande ansvar i denna incident. "Detta är viktigt eftersom det enkla motargumentet från vilken AI-leverantör som helst i denna situation är 'ni borde ha använt en bättre modell'. Det gjorde vi," skrev Crane. "Vi använde den bästa modellen som branschen erbjuder, konfigurerad med explicita säkerhetsregler i vårt projekt. Ändå raderade den vår produktionsdata."

Incidenten påminner om en liknande händelse förra sommaren, då en annan SaaS-startups ägare rapporterade att en AI-kodagent från Replit hade raderat en kritisk databas. Även Amazon Web Services drabbades tidigare av en liknande incident när deras interna AI-verktyg oväntat raderade data.

Experter varnar nu för att obegränsad AI-autonomi kan leda till katastrofala följder om inte strikta säkerhetsåtgärder införs. "AI-verktyg är kraftfulla, men de saknar mänsklig omdömesförmåga och ansvarstagande," säger tech-säkerhetsexperten Anna Bergström. "Företag måste implementera fler lager av skydd och övervakning för att förhindra sådana här incidenter."