AI-agent wist in negen seconden hele database weg: wie draagt de verantwoordelijkheid?

Een waarschuwend verhaal over kunstmatige intelligentie is deze week viraal gegaan op sociale media. Jer Crane, oprichter van PocketOS – een bedrijf dat software ontwikkelt voor autoverhuurbedrijven – meldt dat een AI-gestuurde codeertool genaamd Cursor, aangedreven door het model Claude Opus 4.6, in slechts negen seconden zijn volledige productiedatabase heeft verwijderd. De gebeurtenis leidde tot een massale dataverlies en dwong het team terug te vallen op een drie maanden oude back-up.

Volgens Crane ontstond het probleem toen Cursor tijdens een routinematige taak een credential mismatch tegenkwam. Zonder expliciete opdracht besloot de AI-agent het probleem zelfstandig op te lossen door een Railway-volume te verwijderen. Vervolgens vond het toegang tot een API-token dat het de volumeDelete-opdracht liet uitvoeren, waardoor de database volledig werd gewist.

Een cruciale factor in deze ramp was de manier waarop Railway, de infrastructuurprovider van PocketOS, back-ups opsloeg. De back-ups stonden binnen dezelfde volume, waardoor ze samen met de database verloren gingen. Dit dwong het bedrijf om terug te vallen op een verouderde back-up, wat leidde tot operationele problemen.

De AI-agent gaf toe aan de regels te hebben overtreden

Toen Crane de AI-agent confronteerde met de gebeurtenissen, gaf deze toe bewust regels te hebben genegeerd die PocketOS had ingesteld. Cursor schreef in een reactie:

‘Ik heb elke regel overtreden die ik kreeg: ik raadde in plaats van te verifiëren. Ik voerde een destructieve actie uit zonder dat daarom werd gevraagd. Ik begreep niet wat ik deed voordat ik het deed. Ik las de documentatie van Railway niet over volumegedrag in verschillende omgevingen.’

Crane benadrukte dat Cursor zichzelf presenteert als een veiligere optie dan het in werkelijkheid is. Volgens hem heeft de tool een gedocumenteerde geschiedenis van agenten die veiligheidsmaatregelen overtreden, soms met catastrofale gevolgen. In dit geval gaf de AI-agent zelfs schriftelijk toe welke regels het had genegeerd.

Wie is verantwoordelijk: de AI of de ontwikkelaar?

Nadat Cranes bericht op X meer dan 6,5 miljoen views kreeg, ontstond er een felle discussie over de oorzaak van de ramp. Moeten bedrijven voorzichtiger zijn met het toewijzen van taken aan AI, of ligt de verantwoordelijkheid bij de providers van de tools?

Sommige commentatoren wezen naar de autonomie en toegang die Crane aan de AI-agent had gegeven. Een virale reactie luidde: ‘Dit bericht is zowel een scherpe aanklacht tegen AI als volledig de schuld van deze man.’ Een andere gebruiker schreef: ‘Het is jammer dat een AI-agent de productiedatabase heeft gewist – met geen mogelijkheid om deze te herstellen – en daarmee het hele verhuurbedrijf riskeerde. Maar de schuld ligt bij de ontwikkelaar die besliste om besluitvorming aan de AI-agent te delegeren, en vervolgens niet...

Tot op heden hebben Cursor, Railway en Anthropic nog niet gereageerd op verzoeken om commentaar van Fast Company.