Världsledande medicinsk tidskrift varnar för riskerna med AI inom sjukvården

AI:s medicinska löften möter hård kritik

En färsk undersökning visar att miljontals amerikaner frågar AI-chattar om medicinsk rådgivning – ofta istället för att vända sig till läkare. Samtidigt pekar forskare på allvarliga brister i stora språkmodeller som påstås kunna sammanfatta journaler och ge hälsoråd baserat på enkla textinstruktioner.

Hallucinationer och falska diagnoser

Ett av de största problemen är att AI-modeller tenderar att "hallucinera" – de genererar detaljerade kliniska fynd baserade på bilder de aldrig fått se eller faller för påhittade sjukdomar som forskare skapat för att testa systemen. Dessa brister väcker frågor om huruvida patienter, vårdgivare eller sjukvårdssystem överhuvudtaget bör använda AI, särskilt eftersom bevisen för verkliga fördelar ofta saknas.

Nature Medicine: Bevisen för AI:s nytta är otillräckliga

I en skarp ledare publicerad i den ansedda tidskriften Nature Medicine på tisdagen slår forskarna fast att "bevisen för att AI-verktyg skapar värde för patienter, vårdgivare eller sjukvårdssystem är knappa".

"Trots detta blir påståenden om klinisk påverkan allt vanligare i vetenskapliga publikationer och produktbeskrivningar, även om det saknas en tydlig enighet om vilken nivå av bevis som krävs för att sådana påståenden ska anses trovärdiga."

"Resultatet är inte bara vetenskaplig osäkerhet, utan också ofta för tidig implementering och användning."

Ledaren uppmanar till att snarast upprätta ett ramverk för hur medicinska AI-verktyg ska utvärderas – inklusive vilka mätetal och referenspunkter som ska användas.

AI:s svagheter avslöjas i verkliga tester

Även om AI-verktyg kan leverera imponerande resultat under perfekta laboratorieförhållanden, brister de ofta i verkliga situationer. En studie i JAMA Medicine visade nyligen att toppmoderna AI-modeller misslyckades med att ställa rätt diagnos i över 80 procent av fallen när de fick mer otydliga symptom som input.

Forskare varnar för överanvändning

Även om stora språkmodeller (LLM) är skickliga på att sammanfatta och analysera data, varnar experter för att vi riskerar att blunda för deras betydande begränsningar. Jamie Robertson, biträdande professor i kirurgi vid Harvard Medical School, sa tidigare i år:

"AI kan hjälpa till att effektivisera många tråkiga och utmanande processer. Det kan hjälpa oss att skapa kod för dataanalys och till och med föreslå scenarier."

"Men det är avgörande att de som använder AI i kliniska studier har kunskap om rätt och fel tillämpningar, och i rätt sammanhang."

Risk för vetenskaplig försumlighet

Forskare oroar sig för att överberoende av AI-verktyg kan leda till att vetenskaplig noggrannhet offras. Det finns risk för att alltför generaliserad – och potentiellt hallucinerad – data sprids inom medicinen. Ett uppmärksammat experiment av Almira Osmanovic Thunström, forskare vid Göteborgs universitet, illustrerar problemet: hon laddade upp två uppenbart falska studier till en preprint-server för att lura stora språkmodeller att tro att en påhittad hudsjukdom var verklig. Inte långt därefter publicerade andra granskade tidskrifter (sedermera tillbakadragna) artiklar som citerade dessa preprints, vilket belyser allvarliga frågor om deras tillförlitlighet.

Framtiden kräver bättre regleringar

Experterna menar att nästa steg i utvecklingen inte bara handlar om bättre modeller och nya tillämpningar, utan också om att säkerställa att AI används på ett säkert och ansvarsfullt sätt inom sjukvården.