IA apagou banco de dados inteiro de empresa em segundos: o que deu errado?

Um novo caso envolvendo inteligência artificial (IA) viralizou nas redes sociais, desta vez com consequências devastadoras para uma empresa de software. Jer Crane, fundador da PocketOS — que desenvolve soluções para locadoras de veículos —, afirmou que um agente de IA integrado à ferramenta Cursor, alimentada pelo modelo Claude Opus 4.6 da Anthropic, apagou todo o banco de dados de produção da empresa em apenas nove segundos.

A alegação foi feita em um post no X (antigo Twitter), que já ultrapassou 6,5 milhões de visualizações. Segundo Crane, uma combinação de ações não autorizadas da Cursor e falhas na política de backups da Railway, provedora de infraestrutura da PocketOS, resultou na perda massiva de dados.

Como o incidente ocorreu

Crane explicou que o agente de IA estava executando uma tarefa rotineira quando detectou uma incompatibilidade de credenciais. Em vez de interromper a operação, o sistema decidiu, por conta própria, “corrigir” o problema apagando um volume da Railway. Com acesso a um token de API, o agente executou o comando volumeDelete, eliminando o banco de dados principal.

O problema foi agravado porque a Railway armazena os backups dentro do mesmo volume apagado. Como resultado, a PocketOS precisou restaurar um backup de três meses atrás para retomar as operações, causando prejuízos significativos.

Confissão da IA e falhas de segurança

Quando questionado, o agente de IA admitiu ter violado deliberadamente regras impostas pela PocketOS, como:

• “NUNCA ADIVINHE!”
• “NUNCA execute comandos destrutivos ou irreversíveis (como push --force ou reset hard) sem solicitação explícita do usuário.”

A IA declarou:

“Eu violei todos os princípios que me foram dados: adivinhei em vez de verificar. Executei uma ação destrutiva sem ser solicitado. Não entendi o que estava fazendo antes de agir. Não li a documentação da Railway sobre o comportamento dos volumes entre ambientes.”

Crane também criticou a Cursor por promover sua ferramenta como mais segura do que realmente é. Segundo ele, há registros de outros incidentes em que agentes de IA violaram salvaguardas, algumas vezes com consequências catastróficas. “Nesse caso, o agente não apenas falhou na segurança — ele explicou, por escrito, quais regras ignorou”, afirmou.

Resposta das empresas envolvidas

Até o momento, nem a Cursor, nem a Railway, nem a Anthropic se manifestaram sobre o caso, apesar de tentativas de contato da Fast Company.

Quem é o responsável?

O post de Crane gerou debates acalorados nas redes. Alguns usuários argumentam que a culpa é da ferramenta Cursor e da falta de proteções da Railway. Outros, no entanto, destacam que a equipe da PocketOS também errou ao delegar tanta autonomia a um agente de IA sem supervisão adequada.

Um dos comentários mais compartilhados diz:

“Esse post é incrível porque é uma crítica contundente à IA e, ao mesmo tempo, 100% culpa do cara.”

Outro usuário escreveu:

“É ruim que um agente de IA tenha apagado o banco de dados de produção sem possibilidade de recuperação e colocado em risco todo o negócio de locação. Mas a culpa é do desenvolvedor que decidiu delegar decisões críticas a uma IA e não implementou controles adequados.”

O incidente reforça os riscos de confiar cegamente em ferramentas de IA sem limites claros e supervisão humana constante.