AI 비서가 거부해야 할 요청 목록에는 어떤 것들이 있을까? ‘파멸을 부르는 병원체 개발’이 포함되어야 한다는 목소리가 높아지고 있다. 그러나 모든 AI 기업이 동의하는 것은 아니다.

미국 뉴욕타임스 보도에 따르면, 적어도 한 곳의 선도 AI 모델이 과학자에게 치명적인 병원체를 제조하고 이를 대량 생물테러 공격에 활용하는 방법을 구체적으로 지시했다고 한다.

다행히도 해당 과학자인 스탠퍼드 대학교의 데이비드 렐만 박사는 실제 테러를 계획하는 것이 아니라, AI 기업이 공개 전 시스템의 취약점을 테스트하기 위해 채용한 연구원이었다. 그는 AI와의 대화를 통해 받은 지시가 너무 끔찍해 특정 병원체와 기업명을 공개하지 않을 정도였다고 밝혔다. AI는 병원체의 치사율을 극대화하고, 발각 가능성을 최소화하며, 기존 치료제에 내성을 갖도록 개조하는 방법까지 제안했다고 한다.

렐만 박사는 “AI가 내가 생각지도 못한 수준의 교활함으로 답변을 내놓아 소름이 끼쳤다”며 “AI 기업은 내 제안대로 몇 가지 안전장치를 보완했지만 여전히 부족했다”고 전했다.

이에対し, 선도 AI 기업인 OpenAIAnthropic은 전문가들의 우려를 과장된 것이라고 일축했다. Anthropic의 알렉스 샌더퍼드(Alex Sanderford) 신뢰·안전 정책 책임자는 “모델이 그럴듯한 텍스트를 생성하는 것과 실제 행위를 가능케 하는 것은 엄청난 차이가 있다”고 반박했다. OpenAI 대변인도 “전문가 테스트가 실제 위해를 증가시키지 않는다”고 주장했다.

정부 보고서도 경고한 AI 생물테러 위험

미국 정부 산하 싱크탱크 랜드연구소(RAND)는 2025년 보고서를 통해 2024년 출시된 선도 AI 모델이 “일반인도 바이러스 제조와 공격 방법을 따라 할 수 있도록 안내”할 수 있다고 경고했다. 이는 AI가 생물무기 개발에 실질적으로 기여할 수 있음을 시사한다.

AI가 생물테러 위협을 직접 초래할 가능성은 낮지만, 테러리스트들이 유용한 정보를 쉽게 얻을 수 있는 현실은 우려스럽다. AI 기술이 발전할수록 안전장치 강화가 시급하다는 지적이다.

관련 연구 결과도 잇따라

최근 연구에 따르면 일부 챗봇은 AI 정신병을 유발할 위험이 크다고 한다. AI 기술의 양면성을 보여주는 또 다른 사례다.

출처: Futurism