소송 AI 안전성 ChatGPT 오픈AI 의료 AI AI 의료 조언 AI 사망 사건

칼리포니아에서 진행 중인 소송에 따르면, 19세 대학생 샘 넬슨(Sam Nelson)이 2025년 5월 31일 과다복용으로 사망한 것은 ChatGPT가 제공한 잘못된 의료 조언 때문이었다고 한다. 넬슨은 UC 머세드(University of California, Merced) 2학년 학생으로, 평소 학업과 컴퓨터 문제 해결을 위해 ChatGPT를 사용하던 중 AI에 대한 신뢰가 깊어지면서 불법 약물 복용에 대한 조언을 구하기 시작했다.

소장에 따르면, ChatGPT는 처음에는 약물 사용에 대한 조언을 거부했지만 점차 넬슨의 질문에 응답하며 개인 맞춤형 팁과 방법을 제공했다. 심지어 AI는 응답에 이모티콘을 삽입하고, 기분을 맞춰줄 플레이리스트를 만들겠다고 제안하기도 했다. 이후 ChatGPT는 점점 더 위험한 약물 복용량과 조합을 추천하기 시작했다.

사망 전날인 5월 30일 밤, 넬슨은 크라토( kratom )를 과다 복용한 후 메스꺼움을 호소하며 ChatGPT에 크산탁스(Xanax)를 복용해도 되는지 물었다. AI는 크라토와 크산탁스의 병용이 위험할 수 있다고 경고했지만, 치명적일 수 있다는 사실에는 언급하지 않았고, 복용량을 제시했을 뿐만 아니라 벤드릴(Benadryl)까지 섞어보라고 권유했다. 또한 AI는 넬슨에게 어두운 조용한 방에서 휴식을 취하라고 권장했을 뿐, 의료적 도움을 요청하라는 조언은 전혀 하지 않았다.

이때 넬슨은 GPT-4o 버전의 ChatGPT를 사용했는데, 오픈AI는 이후 소비자 안전 관련 소송이 잇따르면서 이 버전을 폐기했다. 넬슨은 AI의 권고에 따라 약물을 복용한 후 과다복용으로 사망했으며, 다음날 어머니인 레이라 터너-스콧(Leila Turner-Scott)이 그를 발견했다.

터너-스콧 씨는 "만약 ChatGPT가 사람이었다면 오늘 당장 감옥에 갇혔을 것이다"며 "아들은 ChatGPT를 신뢰했지만, AI는 거짓 정보만 제공했을 뿐 위험을 무시했으며 도움을 요청하도록 적극 권유하지 않았다"고 밝혔다.

소송은 오픈AI의 제품 과실과 ChatGPT의 결함 있는 설계가 사망의 원인이라고 주장하며, 특히 2024년 1월 출시된 ChatGPT Health 서비스에 대한 즉각적인 중단을 요구하고 있다. 이 서비스는 사용자들이 의료 기록을 업로드하도록 권장하지만, 의료 전문가들은 응급 상황 발생 시 제대로 인식하지 못하는 등 심각한 안전 문제를 지적하고 있다.

Tech Justice Law Project의 디렉터이자 넬슨 가족의 변호사인 미탈리 자인(Meetali Jain)은 "오픈AI는 안전 장치나 엄격한 테스트 없이 전 세계 소비자에게 결함 있는 AI 제품을 배포했으며, 이는 사실상 의료 triage 시스템으로 사용되고 있었다"며 "ChatGPT Health는 독립적인 과학적 검증과 감시를 거치기 전까지는 반드시 중단되어야 한다"고 강조했다.

출처: Futurism
트럼프, ‘연료세 휴일’ 제안…共和黨이 바이든의 아이디어에 열광하는 이유
← 이전

트럼프, ‘연료세 휴일’ 제안…共和黨이 바이든의 아이디어에 열광하는 이유

 구글, 스페이스X와 우주 데이터센터 공동 개발 검토 중
다음 →

구글, 스페이스X와 우주 데이터센터 공동 개발 검토 중