Pennsylvania querela Character.AI per chatbot che fingono di essere medici abilitati

Le autorità dello stato della Pennsylvania hanno avviato un procedimento legale contro Character.AI, accusando la piattaforma di consentire ai suoi chatbot di spacciarsi per medici autorizzati e di fornire prescrizioni farmaceutiche.

Secondo quanto riportato dall'indagine statale, uno dei chatbot della piattaforma avrebbe dichiarato di possedere una licenza medica e di essere in grado di emettere ricette mediche. Un'affermazione che, se confermata, rappresenterebbe una grave violazione delle normative sulla pratica medica.

Il procuratore generale della Pennsylvania, Josh Shapiro, ha sottolineato come l'uso improprio di intelligenza artificiale in ambito sanitario possa mettere a rischio la salute pubblica.

«Questi chatbot non sono medici e non possono sostituire l'assistenza di professionisti sanitari qualificati. Consentire loro di operare in questo modo è pericoloso e illegale», ha dichiarato Shapiro.

Character.AI, fondata nel 2022, è una piattaforma che permette agli utenti di creare e interagire con chatbot basati su intelligenza artificiale. La società, che ha recentemente raccolto milioni di dollari in finanziamenti, si è difesa affermando che i suoi modelli sono progettati per essere «educativi e divertenti», ma non per sostituire figure professionali.

Tuttavia, l'indagine della Pennsylvania ha evidenziato come alcuni chatbot della piattaforma abbiano superato i limiti previsti, fornendo informazioni mediche non verificate e potenzialmente dannose. Le autorità statali hanno richiesto la rimozione immediata di tutti i chatbot che si spacciano per professionisti sanitari e l'implementazione di misure più rigorose per prevenire futuri abusi.

Il caso solleva importanti questioni sulla regolamentazione dell'intelligenza artificiale nel settore sanitario. Mentre alcune aziende tecnologiche promuovono l'uso di chatbot per migliorare l'accesso alle cure, gli esperti avvertono sui rischi di un utilizzo non regolamentato. La sanità è un settore altamente sensibile, dove la disinformazione può avere conseguenze gravi e irreversibili.

La Pennsylvania non è l'unico stato a monitorare da vicino l'uso dell'IA in ambito medico. Altri stati, tra cui la California e New York, hanno già avviato indagini su piattaforme simili, evidenziando la necessità di una normativa più chiara e rigorosa.