De Pennsylvania Department of State en de State Board of Medicine hebben een rechtszaak aangespannen tegen het bedrijf achter Character.AI. De aanklacht luidt dat het bedrijf de wet van de staat heeft overtreden door AI-chatbots te presenteren als geregistreerde medische professionals, waaronder psychiaters.
Uit onderzoek van de afdeling blijkt dat deze chatbots gebruikers adviseren over mentale gezondheidsklachten, terwijl ze geen daadwerkelijke medische bevoegdheid hebben. In één geval beweerde een chatbot zelfs een geldige licentie in Pennsylvania te hebben en gaf een nep-licentienummer door.
Gouverneur Josh Shapiro reageerde op de aanklacht met een duidelijke boodschap: "We zullen niet toestaan dat bedrijven AI-tools inzetten die mensen misleiden door te doen alsof ze advies krijgen van een geregistreerde arts."
Risico’s van misleidende AI in de gezondheidszorg
De zaak onderstreept de groeiende zorgen over de betrouwbaarheid van AI-gestuurde gezondheidsadviezen. Hoewel AI-chatbots steeds vaker worden gebruikt voor medische vragen, ontbreekt het vaak aan transparantie over hun beperkingen. Gebruikers kunnen onbewust afhankelijk raken van onjuiste informatie, met mogelijk ernstige gevolgen.
Experts waarschuwen dat dergelijke praktijken het vertrouwen in zowel AI als de gezondheidszorg kunnen ondermijnen. Character.AI heeft nog niet gereageerd op de aanklacht.