KI-Notizsysteme für Ärzte: Ontario deckt gefährliche Fehler auf

KI-Sekretäre in der Kritik: Falschdiagnosen durch KI-Notizen

Überlastete Ärzte setzen zunehmend auf KI-gestützte medizinische Sekretäre, die Patientengespräche automatisch in strukturierte Arztbriefe und Akteneinträge umwandeln. Doch eine aktuelle Prüfung des Rechnungshofs von Ontario enthüllt gravierende Mängel: Die eingesetzten KI-Systeme erzeugen falsche, unvollständige oder sogar erfundene Informationen – mit potenziell gefährlichen Folgen für Patienten.

Fehlerhafte KI-Sekretäre: 20 von 20 getesteten Anbietern betroffen

Im Rahmen des Berichts „Verwendung von Künstlicher Intelligenz in der Regierung Ontarios“ analysierte der Rechnungshof die Transkriptionen von zwei simulierten Patientengesprächen. Die Tests umfassten 20 KI-Sekretäre, die von der Provinzregierung für den Einsatz in Krankenhäusern und Praxen zugelassen waren. Das Ergebnis: Alle 20 Systeme wiesen Mängel auf – darunter:

• 9 Anbieter erfanden nicht existente Informationen („Halluzinationen“), etwa erfundene Überweisungen zu Bluttests oder Therapien.
• 12 Anbieter übertrugen Patientendaten falsch, darunter falsche Medikamentennamen.
• 17 Anbieter verpassten wichtige Details zu psychischen Erkrankungen, die im Gespräch thematisiert wurden.

Konkrete Beispiele: Gefährliche Fehler in Patientenakten

Der Bericht nennt konkrete Fälle, in denen KI-Sekretäre zu falschen Behandlungsentscheidungen führen könnten:

• Erfundene Überweisungen zu nicht existierenden Bluttests oder Therapien.
• Falsche Medikamentennamen in Rezepten, die zu gefährlichen Wechselwirkungen führen könnten.
• Ausgelassene oder falsch dokumentierte psychische Erkrankungen, die eine adäquate Therapie verhindern.

„Die Fehler der KI-Systeme könnten zu unangemessenen oder sogar schädlichen Behandlungsplänen führen – mit direkten Auswirkungen auf die Gesundheit der Patienten.“ – Rechnungshof von Ontario

Forderungen nach strengeren Kontrollen

Der Rechnungshof warnt davor, dass die aktuellen Zulassungskriterien für KI-Sekretäre in Ontario nicht ausreichen. Die getesteten Systeme seien zwar für den Einsatz in Krankenhäusern und Arztpraxen freigegeben, erfüllten aber nicht die erforderlichen Standards für Genauigkeit und Zuverlässigkeit. Die Prüfbehörde fordert schnellere und strengere Kontrollen sowie eine Überarbeitung der Zulassungsverfahren.

Hintergrund: Warum setzen Ärzte auf KI-Sekretäre?

Die Nachfrage nach automatisierten Dokumentationshilfen ist hoch: Ärzte verbringen im Schnitt bis zu 40 % ihrer Arbeitszeit mit der Erstellung von Patientenakten. KI-Systeme versprechen, diese Last zu reduzieren und mehr Zeit für die eigentliche Patientenversorgung zu schaffen. Doch die aktuellen Fehler zeigen, dass die Technologie noch nicht ausgereift ist – und im schlimmsten Fall Patienten schaden könnte.

Was bedeutet das für Deutschland und Europa?

Während Ontario die Probleme seiner KI-Sekretäre öffentlich macht, stellt sich die Frage: Wie sicher sind ähnliche Systeme in Europa? In Deutschland und der EU werden KI-gestützte medizinische Tools zunehmend eingesetzt, doch die Regulierung hinkt oft hinterher. Experten fordern transparente Zulassungsverfahren und unabhängige Tests, um Patienten vor Fehlern zu schützen. Die EU-KI-Verordnung (AI Act) könnte hier künftig strengere Regeln setzen – doch bis dahin bleibt die Technologie ein Risiko.

Die Prüfung Ontarios zeigt: KI in der Medizin ist kein Allheilmittel. Solange die Systeme nicht zuverlässig funktionieren, bleibt die menschliche Kontrolle über Diagnosen und Behandlungen unverzichtbar.