AI-læger hallucinerer fiktive diagnoser under patientkonsultationer

AI-værktøjer til journalføring fejler i stor skala

AI-systemer, der automatisk transskriberer og strukturerer læge-patient-samtaler til journalnotater, er blevet udbredt i de senere år. Men en ny rapport fra Ontarios revisionschef afslører alvorlige problemer med disse såkaldte AI-scribes.

Fabrikerede oplysninger og manglende evaluering

Ifølge revisionsrapporten, offentliggjort tidligere denne uge, er 20 godkendte AI-scribe-systemer blevet testet, og samtlige viste fejlagtige eller manglende oplysninger allerede på prøvestadiet. Problemerne inkluderer:

• Hallucinationer (fiktive oplysninger, der ikke findes i virkeligheden)
• Forkert eller misvisende information
• Ufuldstændige eller manglende data

Rapporten understreger, at sådanne fejl kan føre til forkerte behandlingsplaner og dermed påvirke patienters helbred negativt.

Minister: Fejl blev opdaget i tests, ikke i praksis

Ontarios minister for offentlige og erhvervsmæssige tjenester, Stephen Crawford, har imidlertid forsøgt at dæmpe bekymringerne. Han påpeger, at de observerede fejl kun blev fundet under regulatoriske tests og ikke under faktiske patientkonsultationer.

"Det er vigtigt at understrege, at disse fejl ikke forekommer i den daglige brug hos lægerne. Vi er stadig i en evalueringsfase," udtaler Crawford til Global News.

AI-scribes i udbredt brug på trods af risici

Alligevel afslører rapporten, at omkring 5.000 læger i Ontario allerede anvender disse AI-værktøjer. Revisionschefen Shelley Spence fortæller, at hun selv har bedt sin læge om at gennemgå transskriptionen efter eget besøg.

Internationale bekymringer om AI i sundhedsvæsenet

Problemerne med AI-scribes er ikke begrænset til Canada. I USA er systemet OpenEvidence blevet kritiseret for at trække forhastede konklusioner baseret på små studier. Flere læger har fortalt NBC News, at AI’en nogle gange fremstiller usikre data som fakta.

Mens mange læger fortsat ser potentiale i AI-værktøjer, er der stadig stor usikkerhed om, hvordan systemerne vil klare sig under virkelige forhold, når den indledende AI-entusiasme aftager.

"Det er afgørende, at vi sikrer, at AI-systemer i sundhedsvæsenet er pålidelige og nøjagtige, inden de tages i brug bredt."