Paul Boyer, psykoterapeut hos Kaiser Permanente i Oakland, Californien, oplever AI-revolutionen på nært hold. Men han er ikke imponeret. Sundhedsgiganten har netop indført en ny generation af notatskrivningssoftware fra AI-pioneren Abridge, som på få sekunder skal opsummere en patients samtale med lægen. For mange sundhedspersonale løser teknologien en af de største irritationer i hverdagen: administration og papirarbejde. Men for Boyer og hans kolleger skaber softwaren nye problemer: Det er ikke særlig brugbart.

"Vi ender med at rette de computergenererede noter hele tiden," fortæller Boyer. Abridge har svært ved at opfange klinisk nuance og følelsestonen – noget der er afgørende inden for psykiatrien. For eksempel er det ikke så meget hvad en mani-patient siger, men hvordan det bliver sagt. Softwaren misser disse signaler gang på gang.

Notatskrivningssoftware er ikke fremtidens teknologi – det er nutidens realitet. Hospitaler over hele USA implementerer det i stigende grad, og forskning viser faktisk nogle fordele. En undersøgelse af fem hospitaler, offentliggjort i Journal of the American Medical Association i april, viste, at læger, der brugte disse systemer mest, sparede over en halv time dagligt på administration. Flere interviewbaserede studier peger også på en generelt positiv modtagelse blandt brugerne.

Alligevel rejser Boyers erfaringer spørgsmål om systemernes kvalitet. Mens han og hans kolleger bruger tid på at rette fejl, frygter sikkerhedsforskere, at andre klinikere ikke er lige så omhyggelige. Det kan føre til, at læger i fremtiden baserer beslutninger på forkert information. Abridge hævder dog at evaluere deres systemer løbende, herunder gennem direkte sammenligninger med tidligere versioner. "Efter implementering overvåger vi klinikernes redigeringer, karaktergivninger og fritekstkommentarer for at vurdere notekvaliteten," siger Davis Liang, direktør for anvendt forskning hos Abridge, til KFF Health News.

AI i sundhedsvæsenet: En voksende, men ureguleret trussel

AI-baseret notatskrivning er blot ét eksempel på den store bølge af AI-værktøjer, der strømmer ind i sundhedsvæsenet. Klinikere og patient-sikkerhedseksperter advarer imidlertid om, at de nuværende føderale regler ikke er tilstrækkelige til at forhindre, at teknologien overser eller forvansker vigtige oplysninger om patienters tilstand – med potentielt alvorlige konsekvenser.

"Der findes ingen føderale sikkerhedsforanstaltninger til at godkende notatskrivningssoftware," siger Raj Ratwani, forskningsleder inden for menneske-teknologi-interaktion ved MedStar Health i Maryland. Han frygter, at reglerne for sundhedssoftware vil blive yderligere lempet i de kommende år.

Ratwani henviser til foreslåede ændringer fra Office of the National Coordinator for Health IT – den myndighed, der regulerer elektroniske patientjournaler. De nye regler kan svække kravene til, at journaler skal være forståelige, brugervenlige og gennemsigtige omkring brugen af AI. En uforståelig journal kan forvirre klinikere og føre til fejldiagnoser. Siden Obama-administrationen har sundhedsministeriets IT-afdeling opfordret til "brugercentreret design" i sundheds-it, men ifølge Ratwani rækker det ikke længere.

Regeringsændringer kan forværre problemet

Den tidligere præsident Donald Trump og præsidentkandidat Robert F. Kennedy Jr. har begge udtrykt ønske om at lette reglerne for AI i sundhedsvæsenet. Kennedy har tidligere kritiseret FDA’s godkendelsesproces for at være for bureaukratisk og hæmme innovation. Begge har foreslået at reducere reguleringen af sundhedsteknologi for at fremskynde udviklingen af nye løsninger.

Men eksperter som Ratwani advarer om, at lempelse af reglerne kan føre til øget risiko for fejl. "Jo mere kompleks teknologien bliver, desto større er risikoen for, at vigtige detaljer bliver overset," siger han. "Vi har brug for stærkere, ikke svagere, sikkerhedsforanstaltninger."

Samtidig påpeger Ratwani, at mange AI-værktøjer i dag markedsføres som "selvlærende" og "selvoptimerende", men at der mangler uafhængig validering af deres præcision og pålidelighed. Uden strengere kontrol kan patienter komme til at stå med fejlagtige diagnoser eller behandlinger baseret på AI-genererede data.

"Der er brug for en balance mellem innovation og patientsikkerhed. Vi kan ikke ofre præcision for hastighed." – Raj Ratwani, forskningsleder, MedStar Health

Indtil videre forbliver AI i sundhedsvæsenet en dobbeltsidig sag: teknologien lover at revolutionere arbejdsgange og frigøre tid til patientbehandling, men uden tilstrækkelig regulering risikerer den at skabe nye, potentielt farlige problemer.