Lægeres organisation kræver streng regulering af chatbots og wellness-AI

Amerikanske læger kræver handling mod ukontrolleret AI i sundhedsvæsenet

Den amerikanske lægeforening American Medical Association (AMA) har netop offentliggjort en skarp rapport, der kalder på øjeblikkelig regulering af kunstig intelligens (AI) inden for sundhedssektoren. Ifølge AMA udgør ukontrolleret brug af chatbots og wellness-AI en alvorlig trussel mod patienters sikkerhed, privatliv og behandlingskvalitet.

AI-udviklere under lup

Rapporten retter sig især mod tech-virksomheder som OpenAI, der tidligere har inviteret forbrugere til at uploade følsomme medicinske oplysninger til ChatGPT til analyse. AMA advarer om, at sådanne praksisser kan føre til misbrug af data, fejldiagnoser og manglende ansvarlighed, når AI-systemer træffer beslutninger, der påvirker patienters helbred.

AMA’s formand, Dr. Jesse Ehrenfeld, udtaler i en pressemeddelelse:

«Vi står over for en kritisk udfordring, hvor teknologi udvikler sig hurtigere end lovgivningen. AI har potentiale til at revolutionere sundhedsvæsenet, men uden ordentlig regulering risikerer vi at skabe et system, hvor patienternes tillid og sikkerhed bliver sat på spil.»

Krav til transparens og ansvar

AMA fremsætter en række konkrete krav til reguleringen af AI i sundhedssektoren:

• Krav om transparens: AI-systemer skal kunne forklare, hvordan de når frem til deres beslutninger, så sundhedspersonale og patienter kan stole på dem.
• Ansvarlighed: Udviklere og udbydere af AI-værktøjer skal holdes juridisk ansvarlige for fejl og skader forårsaget af deres systemer.
• Beskyttelse af patientdata: Følsomme medicinske oplysninger må ikke deles med kommercielle AI-systemer uden klare regler for databeskyttelse.
• Uafhængig godkendelse: AI-værktøjer skal gennemgå en uafhængig evaluering og godkendelse, før de kan anvendes i klinisk praksis.

Teknologivirksomheder reagerer

OpenAI har tidligere annonceret planer om at integrere sine AI-værktøjer direkte i sundhedssektoren, herunder muligheden for at lade læger bruge ChatGPT til at analysere patientdata. AMA’s rapport kommer imidlertid på et tidspunkt, hvor flere tech-virksomheder står over for stigende kritik for manglende etik og gennemsigtighed i deres AI-løsninger.

Eksperter inden for medicinsk teknologi advarer om, at manglende regulering kan føre til en situation, hvor AI-systemer træffer beslutninger, der direkte påvirker patienters liv og død, uden at der er klare retningslinjer for, hvordan fejl skal håndteres.

Hvad betyder dette for Danmark?

Selvom AMA’s rapport primært retter sig mod det amerikanske sundhedsvæsen, har den også betydning for Danmark og resten af Europa. EU’s AI Act, som forventes at træde i kraft inden udgangen af 2024, vil indføre strenge regler for anvendelsen af AI i kritiske sektorer, herunder sundhedsvæsenet. Alligevel frygter eksperter, at de danske myndigheder endnu ikke er tilstrækkeligt forberedte på at håndtere de udfordringer, som AI-teknologien medfører.

Ifølge Center for Sundhedsinnovation ved Region Hovedstaden:

«Vi ser allerede nu en stigende interesse for AI i dansk sundhedsvæsen, men der mangler en national strategi for, hvordan vi sikrer, at teknologien anvendes på en sikker og etisk forsvarlig måde. AMA’s rapport er en påmindelse om, at vi ikke kan vente med reguleringen.»

Fremtidens sundhedsvæsen – med eller uden AI?

Mens AMA opfordrer til forsigtighed, er der også optimisme omkring AI’s potentiale til at forbedre sundhedsvæsenet. AI kan blandt andet hjælpe med at:

• Automatisere rutineopgaver og frigøre tid til patientbehandling.
• Forudsige sygdomsforløb og identificere risikopatienter tidligere.
• Styrke diagnostisk præcision gennem billedgenkendelse og dataanalyse.

Men ifølge AMA er nøglen til en succesfuld integration af AI i sundhedsvæsenet klar regulering, transparens og samarbejde mellem sundhedspersonale, politikere og tech-virksomheder.

AMA’s rapport afsluttes med en opfordring til regeringer og lovgivere verden over om at handle hurtigt for at sikre, at AI bliver et redskab til gavn for patienter – og ikke en trussel mod deres velbefindende.