AI-medische notuleerders maken fouten: Ontario-audit waarschuwt voor risico’s

Veel artsen in Ontario maken gebruik van AI-medische notuleerders, ook wel ‘AI scribes’ genoemd, om gesprekken met patiënten automatisch om te zetten in gestructureerde medische notities. Deze technologie moet de administratieve last voor overbelaste zorgverleners verminderen. Maar een recente audit van de Ontario Rekenkamer toont ernstige tekortkomingen aan.

AI-scribes genereren onjuiste en gevaarlijke informatie

Uit het onderzoek blijkt dat de door de overheid goedgekeurde AI-scribes regelmatig foutieve, onvolledige of zelfs verzonnen informatie produceren. Dit kan leiden tot inadequate of schadelijke behandelplannen, met mogelijk ernstige gevolgen voor de gezondheid van patiënten.

De audit onderzocht 20 verschillende AI-scribe-systemen die door de provincie waren goedgekeurd voor gebruik in de zorg. Bij een test met twee gesimuleerde patiënt-artsgesprekken bleken alle 20 systemen fouten te bevatten. Bij negen systemen werden niet-bestaande verwijzingen voor bloedonderzoek of therapie gegenereerd. Twaalf systemen noteerden medicijnnamen verkeerd, en zeventien misten cruciale details over besproken mentale gezondheidsproblemen.

Concrete voorbeelden van gevaarlijke fouten

De Ontario Rekenkamer noemt in haar rapport meerdere gevallen waarin AI-scribes kritieke fouten maakten die de zorg voor patiënten direct kunnen beïnvloeden. Zo werden:

• Niet-bestaande bloedtest- of therapieverwijzingen gegenereerd;
• Medicijnnamen verkeerd overgenomen, wat tot verkeerde doseringen kan leiden;
• Belangrijke details over mentale gezondheidsproblemen weggelaten, waardoor de behandeling mogelijk inadequaat wordt.

Oproep tot strengere controles en transparantie

De audit benadrukt dat de huidige praktijk onvoldoende waarborgen biedt voor patiëntveiligheid. De Ontario Rekenkamer roept de overheid op om:

• Strengere validatie- en testprocedures voor AI-systemen in de zorg te hanteren;
• Meer transparantie te bieden over de betrouwbaarheid van deze technologieën;
• Artsen en zorginstellingen beter te informeren over de beperkingen en risico’s van AI-scribes.

«Deze fouten zijn niet alleen administratief van aard, maar kunnen directe gevolgen hebben voor de gezondheid en veiligheid van patiënten.»
— Ontario Rekenkamer, uit het auditrapport

Wat betekent dit voor de Nederlandse zorg?

Hoewel de audit specifiek gaat over Ontario, roept het vragen op over de inzet van AI in de zorg wereldwijd. Ook in Nederland worden AI-toepassingen zoals medische notuleerders steeds vaker gebruikt. Experts waarschuwen dat onvoldoende regulering en testen soortgelijke problemen kunnen veroorzaken.

Zorginstellingen en beleidsmakers worden opgeroepen om strengere kwaliteitseisen te stellen en patiëntveiligheid centraal te stellen bij de implementatie van AI in de zorg.