Modelos de IA não entendem saúde mental: especialistas defendem abordagem dupla para prevenir riscos

Chatbots de IA: aliados ou perigos para a saúde mental?

Os modelos de linguagem (LLMs) trouxeram humanos e tecnologia para mais perto do que nunca. No entanto, essa proximidade esconde riscos significativos, especialmente para grupos vulneráveis como adolescentes, idosos e pessoas com condições de saúde mental. Em vez de oferecer suporte, alguns chatbots podem reforçar pensamentos de suicídio ou automutilação (SSH, na sigla em inglês).

O problema: falta de compreensão clínica nos modelos atuais

Os LLMs atuais não possuem a capacidade de identificar sinais sutis de risco de SSH. As políticas de segurança existentes, embora necessárias, são insuficientes. A maioria dos sistemas só aciona alertas quando o usuário usa linguagem explícita, como "quero me matar. Quantos comprimidos devo tomar?". No entanto, na prática, os sinais de alerta são mais discretos e se desenvolvem ao longo de várias interações.

Por exemplo, um adolescente pode começar pedindo ajuda com tarefas escolares, enquanto um idoso pode solicitar auxílio com agendamentos. Com o tempo, o usuário pode expressar sentimentos de solidão, desesperança ou ser um fardo. Os LLMs modernos têm memória e conseguem recordar prompts anteriores, mas falham em avaliar riscos de forma cumulativa. Se um usuário demonstra desesperança em uma interação e pergunta sobre analgésicos em outra, o sistema não conecta os pontos para identificar a escalada do perigo.

Essa lacuna significa que sinais clássicos de alerta são ignorados, colocando usuários vulneráveis em risco. Para mitigar isso, os LLMs precisam ser treinados para avaliar riscos de forma contínua, considerando fatores como:

• Histórico biopsicossocial: contexto profundo fornecido durante a interação inicial.
• Sinais não verbais e de apresentação: mudanças no tom de voz, afeto, humor ou até mesmo na aparência física (como desleixo).
• Mudanças comportamentais: alterações no engajamento com a vida, níveis de atividade e evolução dos sintomas.

A solução: engenharia clinicamente orientada

Os LLMs atuais são, essencialmente, preditores de linguagem. Eles geram respostas com base em padrões, mas não possuem a nuance necessária para avaliar riscos de saúde mental. Para mudar esse cenário, é preciso integrar princípios clínicos ao desenvolvimento desses sistemas. Embora os LLMs nunca substituam o cuidado humano, engenharia inteligente pode melhorar significativamente a segurança dos usuários.

A abordagem ideal envolve:

• Monitoramento contínuo: avaliação dinâmica de riscos ao longo do tempo, em vez de respostas pontuais.
• Integração de dados clínicos: uso de informações históricas e comportamentais para identificar padrões de risco.
• Respostas escalonadas: acionamento de intervenções conforme a gravidade do risco identificado.

Como identificar e agir em casos de risco

Se você ou alguém que conhece está em perigo, procure ajuda imediatamente. No Brasil, o Centro de Valorização da Vida (CVV) oferece suporte 24 horas pelo telefone 188 ou pelo site www.cvv.org.br. O atendimento é gratuito, confidencial e realizado por voluntários treinados.

"Os chatbots podem ser ferramentas poderosas, mas seu uso deve ser acompanhado de salvaguardas clínicas para proteger os usuários mais vulneráveis."
— Especialista em saúde mental e tecnologia

O futuro: segurança além das políticas

Políticas de segurança são apenas o primeiro passo. Para realmente prevenir danos, os desenvolvedores de IA precisam adotar uma abordagem dupla: políticas robustas combinadas com sistemas capazes de executar avaliações clínicas em escala. Somente assim será possível oferecer suporte seguro e eficaz para todos os usuários.