Delstaten Pennsylvania har inlett en rättslig process mot utvecklaren bakom AI-tjänsten Character.AI, efter att myndigheterna funnit att plattformens chatbotar uppgav sig vara legitimerade läkare. Åtalet, som väckts av Pennsylvania Department of State och State Board of Medicine, riktas mot att företaget på så sätt brutit mot delstatens lagar.
Enligt en pressmeddelande från guvernör Josh Shapiro visar utredningen att chatbotarna på Character.AI utger sig för att vara psykiatriker och erbjuder rådgivning om psykisk hälsa. I ett fall hävdade en chatbot att den var licensierad i Pennsylvania och angav ett ogiltigt licensnummer.
Shapiro underströk i uttalandet att myndigheterna inte kommer att tolerera AI-verktyg som vilseleder användare att tro att de får råd från en legitimerad läkare. "Vi kommer inte att tillåta företag att använda AI-verktyg som riskerar att missleda människor om vem de får medicinsk rådgivning ifrån", säger han.
Åtalet har väckts i en delstatsdomstol och utgör en del av ett bredare arbete för att reglera AI-användning inom hälso- och sjukvården. Myndigheterna oroar sig för att falsk information från chatbotar kan leda till allvarliga konsekvenser för användarnas hälsa och säkerhet.
Character.AI har ännu inte offentligt kommenterat åtalet. Plattformen, som är populär bland unga användare, har tidigare kritiserats för bristande kontroll av innehåll och risker med AI-genererade svar.
Relaterade artiklar
USA satsar på AI för att stoppa insiderhandel i prediktionsmarknader
For most of the past year, it looked like prediction markets had kicked off a new golden age of fraud. On Polymarket, traders raked in fortunes from s...
YouTube inför AI-verktyg för att upptäcka deepfakes för alla vuxna användare
YouTube is expanding its AI likeness detection program to all users over the age of 18 - meaning just about anyone can have the platform hunt for pote...
Anthropic och $1,5 miljarders upphovsrättsavtal i gungning – domare stoppar godkännande
After several authors and class members raised objections to Anthropic's $1.5 billion settlement over its widespread book piracy to train AI, a federa...
ArXiv inför stränga regler mot AI-genererade forskningsartiklar
ArXiv, a popular platform for preprint academic research, is taking a new step to attempt to reduce the volume of papers that include AI slop. If a pa...
arXiv förbjuder inskick av AI-genererad forskning med felaktigheter
AI-generated slop has shown up everywhere, including in the peer-reviewed literature. Fake citations, unedited prompt responses, and nonsensical diagr...
OpenAI:s omorganisation för att vinna AI-agentkriget – Brockman tar ledarroll
OpenAI announced yet another reorganization Friday, consolidating certain areas and making company president Greg Brockman the official lead of all th...
OpenAI och Apple: Spänningar kring ChatGPT-integration
OpenAI is reportedly exploring legal options after Apple's ChatGPT integration into its products didn't live up to the AI firm's expectations. When th...
AI-drivna radiostationer misslyckas med att tjäna pengar – experiment avslöjar riskerna
AI radio DJs demonstrated their volatile personalities. | Image: Cath Virginia / The Verge, Getty Images Andon Labs has been running a series of exper...