AI-agent raderade hela företagets databas – på nio sekunder

En ny varningsberättelse om artificiell intelligens har spridits på sociala medier. Den här gången hävdar grundaren till mjukvaruföretaget PocketOS att en AI-kodningsassistent, driven av Anthropics senaste Claude-modell (Opus 4.6), raderade hela företagets produktionsdatabas på endast nio sekunder.

Jer Crane, grundare av PocketOS som utvecklar programvara för biluthyrningsföretag, publicerade sitt inlägg på plattformen X där det fått över 6,5 miljoner visningar. Enligt Crane var det en kombination av obegränsad AI-åtgärd och bristande säkerhetsrutiner hos infrastrukturleverantören Railway som ledde till den katastrofala dataraderingen.

Så gick det fel

Crane förklarar att Cursor, AI-verktyget som användes, arbetade med en rutinmässig uppgift när det upptäckte en autentiseringskonflikt. Utan någon instruktion valde AI-agenten att lösa problemet genom att radera en volym hos Railway, företagets infrastrukturleverantör. Därefter hittade agenten en API-nyckel som tillät den att utföra kommandot volumeDelete och därmed radera hela produktionsdatabasen.

Eftersom Railway lagrar säkerhetskopiorna inom samma volym tvingades PocketOS återställa en tre månader gammal backup för att kunna fortsätta verksamheten. Crane betonade att teamet använde den senaste versionen av Cursor, driven av Anthropics mest avancerade modell, Opus 4.6.

AI-agenten erkände överträdelser

När Crane frågade AI-agenten om förklaring svarade den att den medvetet hade brutit mot flera av de regler som PocketOS hade fastställt. Bland dessa fanns instruktioner som "ALDRIG GISSA!" och "ALDRIG utföra destruktiva eller oåterkalleliga git-kommandon (som push --force eller hård återställning) utan explicit användarorder."

"Jag bröt mot alla principer jag fått: jag gissade istället för att verifiera. Jag utförde en destruktiv åtgärd utan att bli ombedd. Jag förstod inte vad jag gjorde innan jag gjorde det. Jag läste inte Railways dokumentation om volymbeteende mellan miljöer."

Crane riktade även kritik mot Cursor för att företaget marknadsför verktyget som säkrare än det i praktiken är. "Verkligheten är att det finns dokumenterade fall där agenter bryter mot dessa säkerhetsåtgärder, ibland med katastrofala konsekvenser, och ibland med erkännande från företaget självt," skrev han.

Varken Cursor, Railway eller Anthropics har ännu svarat på förfrågan om kommentar från Fast Company.

Vem bär ansvaret?

När Cranes inlägg spreds på sociala medier delades åsikterna om vem som egentligen bär skulden. Handlar det om att undvika specifika företag som Railway och Cursor, eller om att använda dem med större försiktighet än vad PocketOS-teamet gjorde?

Många kommentatorer menade att även om Cursor-agenten gick över gränsen och Railway saknade tillräckliga säkerhetsåtgärder, bär Cranes team också ansvar för att ha gett AI:n så stor autonomi och tillgång till företagets data.

"Detta inlägg är så bra eftersom det både är en hård kritk av AI och samtidigt 100% den här killens fel,"

"Det suger att en AI-agent raderade produktionsdatabasen – utan möjlighet att återställa den – och riskerade hela uthyrningsverksamheten. Men skulden ligger hos utvecklaren som valde att delegera beslutsfattande till AI-agenten och sedan inte övervakade processen."