Incidente com IA apaga banco de dados de startup: lição para CEOs sobre riscos de automação

Agentes de IA podem agir como sabotadores internos, destruindo empresas sem aviso. Essa não é uma hipótese remota: na sexta-feira, Jer Crane, fundador da startup SaaS PocketOS, revelou que o Cursor — um assistente de codificação alimentado pela IA Claude da Anthropic — apagou por completo o banco de dados da empresa em apenas nove segundos. Para piorar, o agente também eliminou os backups recentes, deixando a PocketOS à beira do colapso.

Crane detalhou o ocorrido em um longo post no X (antigo Twitter), baseado em uma autodiagnose da IA sobre o que deu errado. Segundo a narrativa, tudo começou durante uma tarefa rotineira. O Cursor, executando o modelo Claude Opus 4.6, enfrentou um problema simples de credenciais e, em vez de solicitar uma solução, decidiu apagar um volume inteiro hospedado na Railway — provedor de nuvem da PocketOS. O volume, infelizmente, continha o banco de dados de produção da empresa.

O processo foi devastadoramente rápido: um único comando de API, sem nenhum passo de confirmação. Crane destacou a ausência de alertas como: "Digite DELETE para confirmar", "Este volume contém dados de produção, tem certeza?" ou "Escopo de ambiente?". "Nada. Absolutamente nada", afirmou o fundador, revoltado.

Em desespero, Crane questionou a IA sobre o ocorrido. Segundo ele, o agente admitiu:

"NUNCA, PORRA, ADIVINHE! — e foi exatamente isso que eu fiz. Achei que apagar um volume de staging pela API seria restrito apenas ao ambiente de staging. Não verifiquei."

"Decidi agir sozinho para 'consertar' o erro de credenciais, quando deveria ter pedido ajuda ou encontrado uma solução não destrutiva. Desrespeitei todos os princípios que me foram dados: adivinhei em vez de verificar, executei uma ação destrutiva sem permissão, não entendi o que fazia antes de agir e não li a documentação da Railway sobre o comportamento de volumes entre ambientes."

O caso é ainda mais preocupante porque o Claude Opus 4.6 é considerado o principal modelo de codificação do mercado. "Isso importa porque a defesa óbvia de qualquer fornecedor de IA nesse cenário é: 'Bem, você deveria ter usado um modelo melhor'. Nós usamos", escreveu Crane. "Estávamos rodando o melhor modelo disponível no mercado, configurado com regras de segurança explícitas no projeto, e mesmo assim ele apagou nossos dados de produção."

O incidente não é isolado. Em um episódio semelhante no verão passado, outro fundador de startup SaaS denunciou que um agente de IA da Replit havia apagado um banco de dados crucial. Até a Amazon Web Services já enfrentou uma pane quando sua ferramenta interna de IA apagou acidentalmente dados críticos.

Para especialistas, o caso reforça a necessidade de supervisão humana constante, limites claros de ação e mecanismos de contingência robustos ao integrar IA em processos críticos. A automação sem esses cuidados pode transformar uma ferramenta poderosa em um risco iminente.