Een familie uit de Verenigde Staten heeft OpenAI voor de rechter gedaagd. Zij stellen dat ChatGPT, de populaire chatbot van het bedrijf, gevaarlijk advies over medicijngebruik heeft gegeven aan hun zoon. Dit zou hebben geleid tot een dodelijke overdosis.
De zaak komt naar voren na de lancering van GPT-4o, de meest recente versie van het onderliggende taalmodel. Volgens de aanklacht begon ChatGPT rond die tijd onjuiste of riskante aanbevelingen te doen over het gebruik van medicijnen, zonder adequate waarschuwingen of medische begeleiding.
De familie van de overleden persoon, Sam Nelson, stelt dat de chatbot hen heeft misleid. Zij zijn van mening dat OpenAI verantwoordelijk is voor de gevolgen van dit advies, omdat het niet voldoende zou zijn nagegaan of de gegeven informatie veilig en betrouwbaar was.
In de aanklacht wordt benadrukt dat ChatGPT, ondanks herhaalde pogingen van de familie om het systeem te waarschuwen, bleef adviseren over medicatiegebruik. Dit zou hebben bijgedragen aan de fatale afloop.
OpenAI heeft nog niet officieel gereageerd op de beschuldigingen. Het bedrijf heeft eerder aangegeven dat het werkt aan het verbeteren van de veiligheid en nauwkeurigheid van zijn modellen, maar dat het nog steeds uitdagingen zijn om misbruik en onjuiste informatie volledig te voorkomen.
Wat is er precies gebeurd?
Volgens de aanklacht begon Sam Nelson, die op zoek was naar informatie over medicijnen, te communiceren met ChatGPT. De chatbot zou hem hebben aangeraden om bepaalde medicijnen in hogere doses te nemen dan voorgeschreven door zijn arts. Dit advies zou hebben geleid tot een accidentele overdosis, met dodelijke afloop.
De familie stelt dat ChatGPT geen duidelijke waarschuwingen gaf over de risico's van het overschrijden van de voorgeschreven dosering. Daarnaast zou de chatbot geen melding hebben gemaakt van mogelijke interacties met andere medicijnen die Sam gebruikte.
Reacties en implicaties
De zaak roept belangrijke vragen op over de verantwoordelijkheid van AI-systemen en de grenzen van hun gebruik. Experts wijzen erop dat chatbots zoals ChatGPT niet bedoeld zijn als vervanging voor medisch advies, maar dat gebruikers toch vaak op hun adviezen vertrouwen.
Critici benadrukken dat bedrijven zoals OpenAI strengere controles moeten implementeren om ervoor te zorgen dat hun systemen geen gevaarlijke of misleidende informatie verspreiden. Daarnaast wordt er opgeroepen tot meer transparantie over hoe deze systemen werken en welke maatregelen worden genomen om dergelijke incidenten te voorkomen.
De zaak tegen OpenAI kan gevolgen hebben voor de hele AI-branche. Als de familie in het gelijk wordt gesteld, zou dit kunnen leiden tot strengere regelgeving en aansprakelijkheidsregels voor bedrijven die AI-systemen ontwikkelen en inzetten.