AI als arts: Utah stopt proef met onbeheerde chatbotvoorschriften

De Medische Licentiecommissie van Utah heeft vorige maand een dringend verzoek gedaan om een proefprogramma met de AI-startup Doctronic direct te schorsen. Het programma stelde een chatbot in staat om patiënten te beoordelen en receptverlengingen voor bijna 200 geneesmiddelen tegen chronische aandoeningen te adviseren. De staat Utah wilde dit systeem geleidelijk invoeren, zonder dat elke casus door een arts werd nagekeken.

Het opmerkelijke aan deze zaak is dat de commissie pas na de start van het programma op de hoogte werd gebracht. In een scherpe waarschuwing stelde de commissie dat het gebrek aan klinische toezicht patiënten in Utah onnodig in gevaar brengt.

Waarom is deze beslissing zo belangrijk?

Deze zaak brengt een cruciale vraag aan het licht: Hoe kunnen we AI-systemen veilig integreren in de gezondheidszorg? Terwijl kunstmatige intelligentie steeds vaker wordt gebruikt voor medische diagnoses en behandeladviezen, groeit ook de noodzaak voor duidelijke regelgeving en toezicht.

Experts benadrukken dat AI ongekende mogelijkheden biedt, zoals het sneller analyseren van grote hoeveelheden medische data en het ondersteunen van artsen bij complexe beslissingen. Tegelijkertijd roept het gebruik van AI zonder adequate controle ethische en veiligheidsvragen op. Denk aan:

• Verantwoordelijkheid: Wie is aansprakelijk bij een foutieve diagnose of behandeling door een AI-systeem?
• Transparantie: Hoe kunnen patiënten begrijpen hoe een AI tot een bepaald advies komt?
• Bias: Kan een AI-systeem onbewust vooroordelen reproduceren die in de trainingsdata zitten?
• Toezicht: Hoe kunnen we ervoor zorgen dat AI-systemen altijd onder toezicht van gekwalificeerd medisch personeel staan?

Een raamwerk voor veilige AI-toepassingen in de zorg

Om AI veilig en effectief in te zetten, is een gestructureerd raamwerk nodig. Dit raamwerk zou moeten bestaan uit:

1. Duidelijke certificering en licentiestelling

AI-systemen die worden gebruikt voor medische doeleinden moeten voldoen aan strenge eisen voordat ze worden goedgekeurd. Dit omvat:

• Uitgebreide klinische tests om de veiligheid en effectiviteit te bewijzen.
• Continue monitoring en evaluatie van de prestaties van het systeem.
• Een transparant proces voor het intrekken van de licentie als het systeem niet aan de normen voldoet.

2. Verplichte menselijke supervisie

Zelfs de meest geavanceerde AI-systemen moeten altijd worden gecontroleerd door een gekwalificeerde arts. Dit betekent dat:

• Elke AI-gegenereerde diagnose of behandeladvies moet worden bevestigd door een medisch professional.
• Artsen moeten de mogelijkheid hebben om AI-adviezen te overrulen als ze dat nodig achten.
• Er moeten duidelijke protocollen zijn voor het omgaan met discrepanties tussen AI-adviezen en medische oordelen.

3. Transparantie en uitlegbaarheid

Patiënten en zorgverleners moeten kunnen begrijpen hoe een AI-systeem tot een bepaald advies komt. Dit vereist:

• Het gebruik van uitlegbare AI (explainable AI), zodat de besluitvorming van het systeem traceerbaar en interpreteerbaar is.
• Toegang tot gedetailleerde documentatie over de werking en beperkingen van het AI-systeem.
• Regelmatige audits en rapportages over de prestaties en betrouwbaarheid van het systeem.

4. Ethiek en verantwoordelijkheid

Het gebruik van AI in de zorg roept belangrijke ethische vraagstukken op. Om deze aan te pakken, zou een raamwerk moeten voorzien in:

• Een onafhankelijke ethische commissie die toeziet op de ontwikkeling en implementatie van AI-systemen.
• Duidelijke richtlijnen voor het omgaan met gevoelige patiëntgegevens en privacy.
• Een mechanisme voor het melden en onderzoeken van incidenten waarbij AI een rol speelt.

Internationale voorbeelden en lessen

Utah is niet het enige gebied waar AI in de zorg wordt getest. Wereldwijd experimenteren landen en zorginstellingen met AI-toepassingen, zoals:

• Verenigd Koninkrijk: Het NHS gebruikt AI voor het detecteren van kanker in vroege stadia, met goede resultaten.
• Canada: AI wordt ingezet voor het voorspellen van patiënten met een hoog risico op ziekenhuisopnames, waardoor preventieve zorg mogelijk wordt.
• China: Grote steden experimenteren met AI-gestuurde diagnostische systemen in ziekenhuizen, maar roepen ook vragen op over privacy en controle.

Deze voorbeelden laten zien dat AI een waardevolle bijdrage kan leveren aan de gezondheidszorg, mits het op een verantwoorde en gecontroleerde manier wordt ingezet.

Conclusie: Balans tussen innovatie en veiligheid

De zaak in Utah onderstreept het belang van een evenwicht tussen innovatie en patiëntveiligheid. AI heeft het potentieel om de gezondheidszorg te revolutioneren, maar alleen als het wordt ingezet met de juiste kaders en toezicht.

Het is essentieel dat overheden, zorginstellingen en technologiebedrijven samenwerken om veilige, transparante en ethisch verantwoorde AI-systemen te ontwikkelen. Alleen zo kunnen we ervoor zorgen dat patiënten de voordelen van AI ervaren zonder onnodige risico’s.

De les van Utah is duidelijk: AI mag nooit zonder toezicht en verantwoordelijkheid worden ingezet in de zorg.