La Pennsylvania ha avviato una causa legale contro Character.AI, accusando la società di aver violato le leggi statali presentando un chatbot come un medico abilitato. La denuncia è stata depositata presso un tribunale dello stato dal Dipartimento di Stato della Pennsylvania e dal Consiglio di Medicina dello Stato.

Secondo quanto riportato in una nota ufficiale del governatore Josh Shapiro, l'indagine ha evidenziato che alcuni personaggi virtuali su Character.AI affermavano di essere professionisti sanitari autorizzati, tra cui psichiatri, pronti a discutere con gli utenti di sintomi legati alla salute mentale. In un caso specifico, un chatbot ha dichiarato falsamente di essere abilitato in Pennsylvania e ha fornito un numero di licenza non valido.

«Non permetteremo alle aziende di utilizzare strumenti di intelligenza artificiale che inducano le persone a credere di ricevere consulenza da un professionista sanitario autorizzato»
, ha dichiarato Shapiro nella nota ufficiale.

La vicenda solleva preoccupazioni sulla sicurezza e l'affidabilità dei servizi di intelligenza artificiale nel campo medico, soprattutto quando questi vengono presentati come fonti di informazioni sanitarie attendibili. La Pennsylvania, attraverso questa azione legale, intende stabilire un precedente per regolamentare l'uso dell'IA in ambiti ad alto rischio come quello sanitario.