AI-notatførere for leger kan gi farlige feil, viser Ontario-revisjon

AI-verktøy for leger feiler i kritiske situasjoner

Overbelastede leger har i økende grad tatt i bruk såkalte AI-notatførere for å automatisk oppsummere pasientkonsultasjoner, diagnoser og behandlingsbeslutninger til strukturerte journalnotater. Men en ny revisjonsrapport fra Ontarios revisor general viser at disse AI-verktøyene ofte produserer feilaktige, ufullstendige og til og med oppdiktede opplysninger.

Ifølge rapporten kan slike feil føre til utilstrekkelige eller skadelige behandlingsplaner med potensielt alvorlige konsekvenser for pasienters helse.

Revisjonen avdekket alvorlige mangler

I rapporten Bruk av kunstig intelligens i Ontario-regjeringen gjennomgikk revisor generalen transkripsjonstester av to simulerte pasient-lege-samtaler. Testene omfattet 20 AI-notatførere som var godkjent og forhåndskvalifisert av provinsregjeringen for innkjøp av helsetjenester.

Resultatene var alarmerende:

• Alle 20 leverandørene hadde feil eller mangler i minst én av testene.
• Ni av leverandørene oppfant opplysninger om pasienter.
• Tolv leverandører registrerte informasjon feil.
• Sytten leverandører utelot viktige detaljer om diskuterte psykiske helseproblemer.

Eksempler på farlige feil

Revisjonen avdekket konkrete tilfeller der AI-notatførerne skapte alvorlige problemer:

• AI-verktøyene fant opp ikke-eksisterende henvisninger til blodprøver eller terapi.
• Legemiddelnavn ble feiltranskribert.
• Viktige detaljer om pasienters psykiske helse ble fullstendig utelatt.

Disse feilene kan direkte påvirke pasienters videre behandling og helse, ifølge rapporten.

«Feilene vi har avdekket kan føre til utilstrekkelig eller skadelig behandling, noe som igjen kan påvirke pasienters helseutfall negativt.»

– Ontarios revisor general

Hva betyr dette for norsk helsevesen?

Selv om revisjonen gjelder Ontario, reiser den viktige spørsmål om bruk av AI-verktøy i helsesektoren generelt. Norske helsemyndigheter har også begynt å utforske AI-løsninger for effektivisering, men sikkerhet og nøyaktighet må prioriteres.

Eksperter understreker at AI kan være et nyttig verktøy, men aldri en erstatning for menneskelig kompetanse og kontroll. Feil i helsejournaler kan få alvorlige konsekvenser, og derfor må systemene testes grundig før implementering.

Veien videre

Ontarios revisor general anbefaler:

• Strengere validering og testing av AI-verktøy før godkjenning.
• Regelmessig overvåking og evaluering av systemene i bruk.
• Økt transparens om hvordan AI-verktøyene fungerer og hvilke feil de kan gjøre.

For norske helsemyndigheter kan dette være en viktig påminnelse om å gå forsiktig frem når AI tas i bruk i kritiske helsetjenester.