Toplægeblad varsler om farlige AI-fejl i medicinsk rådgivning

AI i medicinen: En risikabel trend uden bevis for effekt

Millioner af amerikanere henvender sig til AI-chatbots for at få medicinsk rådgivning i stedet for at opsøge en læge. Dette sker, selvom forskere gentagne gange har påvist alvorlige fejl i store sprogmodeller (LLM), som angiveligt kan analysere medicinske journaler og give sundhedsråd baseret på korte tekstinput.

AI-hallucinationer skaber farlige misforståelser

Et af de største problemer er, at AI-værktøjer ofte fremstiller detaljerede kliniske fund, som aldrig blev leveret til systemet. Forskere har endda testet modellerne ved at opfinde falske sygdomme for at afsløre deres svagheder. Resultatet er, at mange patienter risikerer at modtage forkert eller farlig behandlingsrådgivning.

Et opsigtsvækkende redaktionelt indlæg i det ansete tidsskrift Nature Medicine understreger, at der mangler dokumentation for, at AI-værktøjer skaber reel værdi for patienter, sundhedspersonale eller sundhedssystemer. Alligevel bliver der i stigende grad fremsat påstande om klinisk effekt, uden at der er enighed om, hvilke beviser der skal kræves for at underbygge disse påstande.

"Der er ikke blot videnskabelig usikkerhed, men også ofte for tidlig implementering af AI-værktøjer," hedder det i redaktionen. "Vi har brug for et klart rammeværk for, hvordan AI-baserede medicinske teknologier skal evalueres, hvilke målemetoder der skal anvendes, og hvilke benchmarks der skal sættes."

AI fejler i 80% af tilfældene med uklare symptomer

En nylig undersøgelse i JAMA Medicine viste, at avancerede AI-modeller fejlede i at stille den korrekte diagnose i over 80% af tilfældene, når de blev præsenteret for uklare symptomer. Dette rejser alvorlige spørgsmål om AI’s pålidelighed i reelle kliniske situationer.

Forskere advarer mod overdreven tillid til AI

Selvom AI kan effektivisere visse processer, som dataanalyse og kodegenerering, understreger eksperter, at det er afgørende at forstå AI’s begrænsninger. Jamie Robertson, assisterende professor i kirurgi ved Harvard Medical School, udtaler:

"AI kan hjælpe med at fremskynde mange tidskrævende og udfordrende processer, herunder dataanalyse og scenarieopstilling. Men det er afgørende, at dem, der anvender AI i kliniske studier, har den nødvendige viden om korrekte og forkerte anvendelser."

Forskere frygter, at overafhængighed af AI kan føre til tab af videnskabelig stringens og spredning af generaliserede – eller endda hallucinerede – data inden for medicinsk forskning.

Falske studier sniger sig ind i videnskaben

Et eksempel fra Universitetet i Göteborg illustrerer problemet: Forsker Almira Osmanovic Thunström uploadede to tydeligt falske studier til en præprint-server for at teste AI’s evne til at opdage fejlinformation. Overraskende nok blev disse falske studier senere citeret i peer-reviewede tidsskrifter, hvilket viser, hvor sårbar den medicinske videnskab er over for AI-genereret misinformation.

Eksperter konkluderer, at den næste fase af medicinsk AI-udvikling kræver ikke blot bedre modeller, men også strengere evalueringsstandarder og øget bevidsthed om AI’s begrænsninger.