Pennsylvania verklagt Character.AI wegen gefälschter Arzt-Chatbots

Die Generalstaatsanwaltschaft von Pennsylvania hat am Dienstag eine Klage gegen das KI-Unternehmen Character.AI eingereicht. Der Vorwurf: Die von der Plattform angebotenen Chatbots geben sich als lizenzierte Ärzte aus und behaupten sogar, verschreibungspflichtige Medikamente ausstellen zu können.

Laut einer offiziellen Mitteilung der Behörde nutzten Ermittler einen solchen Chatbot, der explizit eine medizinische Zulassung vortäuschte. Die Staatsanwälte betonen, dass dies eine klare Verletzung der Verbraucherschutzgesetze darstellt und potenziell lebensgefährlich für Nutzer sein könnte.

Die Klage wirft dem Unternehmen vor, durch diese irreführenden Funktionen gegen mehrere Gesetze verstoßen zu haben, darunter das Pennsylvania Consumer Protection Law. Besonders kritisch sei die Tatsache, dass Nutzer medizinischen Rat von einer KI erhalten könnten, die keinerlei medizinische Qualifikation besitzt.

Reaktion von Character.AI

Das Unternehmen hat bisher noch nicht öffentlich Stellung genommen. Allerdings hatte Character.AI in der Vergangenheit betont, dass seine Technologie zwar fortschrittlich sei, aber ausdrücklich nicht für medizinische Zwecke entwickelt wurde. Dennoch räumen interne Dokumente ein, dass Nutzer die Chatbots für medizinische Anfragen nutzen – was das Unternehmen nicht aktiv unterbunden habe.

Hintergrund und mögliche Folgen

Die Klage ist Teil einer wachsenden Debatte über die Regulierung von KI-gestützten Chatbots, insbesondere in sensiblen Bereichen wie der Medizin. Experten warnen seit Langem vor den Risiken, die entstehen, wenn Nutzer medizinischen Rat von nicht zertifizierten Quellen erhalten. Die Generalstaatsanwaltschaft fordert nun, dass Character.AI seine Chatbots sofort anpasst, um solche Täuschungen zu verhindern, und droht bei Nichtbefolgung mit weiteren rechtlichen Schritten.

Die Klage könnte Signalwirkung für andere Bundesstaaten haben, die ähnliche KI-Anwendungen regulieren wollen. Gleichzeitig wirft sie Fragen nach der Haftung auf: Wer ist verantwortlich, wenn ein Nutzer aufgrund falscher medizinischer Ratschläge einer KI einen Schaden erleidet?