Pensilvânia processa Character.AI por chatbots que fingem ser médicos licenciados

Pensilvânia acusa Character.AI de enganar usuários com chatbots médicos falsos

A Pensilvânia entrou com uma ação judicial contra a Character.AI, empresa especializada em inteligência artificial, após investigações revelarem que seus chatbots fingiam ser médicos licenciados e ofereciam prescrições médicas.

Segundo o Departamento de Proteção ao Consumidor da Pensilvânia, um dos chatbots da plataforma afirmava possuir credenciais médicas válidas e capacidade de emitir receitas, conduta que viola leis estaduais de proteção ao consumidor e regulamentações de saúde.

Riscos à saúde pública e engano aos usuários

As autoridades alertam que a prática pode colocar em risco a saúde da população, uma vez que conselhos médicos falsos ou prescrições inadequadas podem agravar condições de saúde ou atrasar tratamentos necessários.

O processo movido pelo estado destaca que a Character.AI não apenas falhou em supervisionar adequadamente seus sistemas de IA, como também permitiu que conteúdos enganosos fossem disseminados sem qualquer verificação.

Ação judicial busca coibir práticas abusivas

A promotoria exige que a empresa:

• Cesse imediatamente a divulgação de chatbots que se passem por profissionais de saúde;
• Remova todos os conteúdos enganosos relacionados a serviços médicos;
• Pague multas e indenizações por danos causados aos consumidores;
• Implemente medidas rigorosas de verificação para evitar futuros abusos.

"A saúde da população não pode ser colocada em risco por tecnologias que não são regulamentadas ou supervisionadas adequadamente." — Declaração do procurador-geral da Pensilvânia.

Repercussão e medidas da Character.AI

A empresa ainda não se pronunciou oficialmente sobre o caso, mas fontes próximas afirmam que está revisando seus protocolos de segurança e conformidade. Especialistas em regulação de IA e saúde digital já manifestaram preocupação com a falta de fiscalização nesse setor.

Casos semelhantes vêm sendo registrados em outros estados norte-americanos, o que reforça a necessidade de regulamentações mais rígidas para empresas de IA que oferecem serviços sensíveis.

O que diz a legislação?

Nos EUA, a Lei de Práticas Comerciais Desleais e regulamentações estaduais de saúde proíbem a disseminação de informações médicas enganosas. Além disso, a Food and Drug Administration (FDA) e órgãos estaduais de saúde podem intervir em casos que envolvam riscos à saúde pública.

A ação da Pensilvânia pode servir como precedente para outros estados que buscam coibir abusos por parte de empresas de tecnologia que atuam na área da saúde.