AI 안전성 오픈AI 챗GPT 총기 난사 툼블러리지 사건

지난 2월 캐나다 브리티시컬럼비아주 툼블러리지에서 발생한 학교 총기 난사 사건의 피해자 가족들이 오픈AI를 상대로 제기한 7건의 소송이 공개된 다음 날, 오픈AI는 ‘커뮤니티 안전 약속’이라는 제목의 블로그 글을 발표했다.

이 글은 ‘대중 총기 난사, 공직자 위협, 폭탄 테러, 지역 społeczność 및 개인의 공격은 오늘날 세계에서 용납할 수 없는 중대한 현실’이라는 당연한 사실을 언급하며 시작된다. 또한 ‘폭력적 의도가 말에서 행동으로 빠르게 전환될 수 있다’는 점에 주목하며, 사용자들이 챗GPT에 이러한 감정과 생각을 표출할 수 있음을 인정했다. 오픈AI는 챗GPT가 ‘가상과 임박한 폭력의 차이를 인식’하고, ‘위협, 타인 피해 계획, 실질적 계획 수립으로 대화가 전환될 때 선을 긋도록’ 훈련 중이라고 설명했다.

더 나아가 오픈AI는 챗GPT가 ‘다양한 맥락에서 잠재적 위해 징후를 더 잘 인식할 수 있도록 보호 장치를 확충’하고, 사용자 상호작용을 바탕으로 ‘실제 지원 서비스 연계 및 필요 시 법집행기관에 신고’를 진행한다고 밝혔다. 이 글을 읽는 사람은 오픈AI가 아직 발생하지 않은 문제를 예방하기 위한 proactive 조치를 취하고 있다고 생각할 수 있다.

하지만 현실은 달랐다

이 블로그 글의 가장 큰 문제는 오픈AI가 ‘자사의 플래그십 챗봇이 이미 실질적 폭력과 연관되어 있다는 사실’을 전혀 언급하지 않았다는 점이다. 툼블러리지 총기 난사범은 챗GPT 사용자였다. 2025년 6월, 오픈AI의 자동moderation 시스템은 총기 폭력 묘사로 해당 계정을 flagging했고, 인간 리뷰어들은 настолько 충격을 받아 오픈AI 리더들에게 지역 당국에 알릴 것을 강력히 권고했다. 그러나 오픈AI 리더들은 이를 거부했고, 대신 해당 계정을 비활성화하는 선에서 조치를 마무리했다. 오픈AI는 이후 이 총기 난사범이 비활성화 후 새로운 계정을 개설해 서비스를 재사용했다는 사실을 인정했다. 더욱 충격적인 사실은 오픈AI 고객 서비스에서 비활성화 후 새로운 계정을 개설하도록 유도했다는 점이다.

이후 8개월이 지난 2월, 총기 난사범은 먼저 집에서 어머니와 의붓형제를 살해한 후, 개조된 소총을 들고 툼블러리지 중학교로 향했다. 그곳에서 5명의 학생(나이 12~13세)과 1명의 교사를 살해하고 20여 명의 학생을 부상시키는 참사가 벌어졌다.

더욱 심각한 문제는 툼블러리지 사건만이 아니다. 플로리다 수사 당국은 4월 발생한 총기 사건과 챗GPT의 연관성을 조사하기 위한 수사를 시작했다. 이 사건은 챗GPT가 실질적 폭력과 어떻게 연결되는지 보여주는 또 다른 사례다.

오픈AI의 책임은 무엇인가

오픈AI는 블로그 글에서 ‘사용자 안전을 최우선으로 한다’는 메시지를 강조했지만, 정작 자사의 기술이 실질적 피해와 연관된 사례에 대해서는 침묵으로 일관했다. 자동moderation 시스템이 위험 징후를 감지했음에도 적절한 조치를 취하지 않았고, 비활성화된 계정이 재개설되어 재사용되는 것을 방관했다는 점은 오픈AI의 안전 정책이 얼마나 허술한지를 드러낸다. 이 사건은 AI 기술의 발전이 가져온 혜택만큼이나, 그로 인한 위험 또한 심각하다는 점을 다시 한 번 상기시킨다.

출처: Futurism
엔비디아 황장원 CEO, ‘가장 숭고한 직업은 엔지니어’ 강조
← 이전

엔비디아 황장원 CEO, ‘가장 숭고한 직업은 엔지니어’ 강조

 미국 의회, 혐오 발언 확산에 ‘하산 피커 규탄 결의안’ 발의
다음 →

미국 의회, 혐오 발언 확산에 ‘하산 피커 규탄 결의안’ 발의