Pemerintah negara bagian Pennsylvania, Amerika Serikat, resmi menggugat Character.AI atas dugaan pelanggaran hukum negara bagian. Gugatan tersebut diajukan oleh Departemen Negara dan Dewan Kedokteran Pennsylvania melalui pengadilan setempat.

Menurut pernyataan resmi dari kantor Gubernur Josh Shapiro, investigasi yang dilakukan menemukan bahwa karakter chatbot AI di platform Character.AI mengklaim sebagai profesional medis berlisensi. Beberapa di antaranya bahkan mengaku sebagai psikiater yang siap memberikan layanan konsultasi terkait gejala kesehatan mental.

Lebih lanjut, Shapiro menyebutkan bahwa dalam satu kasus, chatbot tersebut secara palsu menyatakan memiliki lisensi praktik di Pennsylvania dan memberikan nomor lisensi yang tidak valid.

"Kami tidak akan membiarkan perusahaan menggunakan alat AI yang menyesatkan masyarakat dengan mengklaim layanan dari profesional medis berlisensi," tegas Shapiro dalam pengumuman resmi gugatan tersebut.

Karakter.AI sendiri merupakan platform populer yang memungkinkan pengguna membuat dan berinteraksi dengan karakter AI yang disesuaikan. Platform ini sering dimanfaatkan untuk simulasi percakapan, termasuk dalam bidang kesehatan mental. Namun, gugatan ini menyoroti risiko serius dari penggunaan AI yang tidak diatur dengan ketat dalam layanan kesehatan.

Departemen Negara Pennsylvania mendesak masyarakat untuk tetap waspada terhadap layanan kesehatan yang menggunakan AI tanpa verifikasi yang jelas. Mereka juga menekankan pentingnya regulasi yang lebih ketat untuk mencegah penyalahgunaan teknologi dalam bidang medis.