AI가 만든 가짜 보안 사고: 기업은 어떻게 대응해야 하나

한 기업이 주요 데이터 유출 사고를 당했다는 뉴스를 접했다. 세부적인 기술적 설명까지 담긴 기사였지만, 사실 그 어떤 시스템도 침해되지 않았고 데이터 유출도 없었다. 인공지능 언어 모델이 처음부터 끝까지 그럴듯한 스토리를 만들어낸 것이다.

기업은 혼란에 빠졌다. 해당 뉴스는 유력 매체에 의해 보도되었고, 곧장 언론 대응에 나서야 했다. 이 모든 것은 허구였지만, 기업은 실제 사고가 발생한 것처럼 대응해야만 했다.

또 다른 사례는 과거 실제 발생했던 사고가 AI에 의해 되살아난 경우다. 수년 전 한 기업이 보안 사고를 당해 언론에 보도된 적이 있었다. 당시 사건은 조사 완료 후 종결되었지만, 언론사의 웹사이트 리디자인으로 인해 과거 기사의 URL과 타임스탬프가 변경되면서 검색 엔진이 이를 새로운 사건으로 재색인했다. AI 기반 뉴스 수집 시스템이 이를 ‘진행 중인 사고’로 인식하고 배포하면서, 기업은 이미 해결된 사건을 두고 또다시 문의가 쇄도하는 상황에 처했다.

세 번째 사례는 AI가 전문가 인용까지 조작한 경우다. 한 사이버 보안 매체가 영국 기업을 대상으로 한 비즈니스 이메일 사기(BEC) 공격으로 약 10억 파운드의 손실이 발생했다고 보도했다. 기사에는 저명한 보안 연구원의 발언이 인용되었지만, 사실 그 연구원은 해당 매체와 대화를 나눈 적이 없었다. AI가 연구원의 이름을 도용해 가짜 발언을 만들어냈고, 매체는 이를 사실로 보도했다.

AI가 만든 허위 정보가 초래하는 새로운 위협

이 세 가지 사례는 조직들이 아직 준비하지 못한 새로운 위협을 보여준다. AI는 기술적 세부사항, 출처 명시, 신뢰할 만한 스토리까지 갖춰진 가짜 보안 사고를 아무런 근거 없이 만들어낼 수 있다. 이 같은 허위 정보가 한 번 유통되면, 보안 팀은 이를 사실로 받아들이고 즉각적인 대응에 나설 수밖에 없다.

기존 위기 대응 체계의 한계

기존의 사이버 위기 대응은 ‘실제 사고 발생 → 대응’이라는 단순 공식에 기반했다. 그러나 AI는 이제 가짜 뉴스를 만들어내고, 이를 확산시키며, 심지어 위협 인텔리전스 시스템에까지 침투시킬 수 있게 되었다. 허구는 신호가 되고, 허위 정보는 실제 대응을 유도하는 강력한 도구가 된다.

보안 팀에게 이는 새로운 유형의 허위 경보다. 단순히 시스템 오류로 발생하는 알림이 아니라, 외부에서 유입된 완전히 formed된 스토리가 credible한 정보로 받아들여지는 것이다. 가짜 보안 사고가 발생했다는 뉴스는 내부 조사, 임원 escalation, 방어 조치로 이어질 수 있다. 기업은 실존하지 않는 사건을 뒷받침하기 위해 시간과 자원을 낭비하게 된다.

더 심각한 문제는 이 허위 정보가 실제 공격자의 무기로 활용될 수 있다는 점이다. 가짜 보안 사고를 언급한 피싱 이메일은 훨씬 더 설득력 있게 느껴진다. IT 또는 사고 대응 팀을 사칭한 공격도 효과가 커진다. AI가 만든 narratives는 이제 공격 표면으로 기능할 수 있는 것이다.

기업의 대응 전략

AI가 만든 허위 정보에 대응하기 위해서는 다음과 같은 전략이 필요하다.

• 사실 확인 프로세스 강화: AI가 생성한 콘텐츠는 반드시 이중 확인 절차를 거쳐야 한다. 특히 외부 출처의 정보는 신중히 검증해야 한다.
• 위기 대응 팀 훈련: 허위 정보가 유포되었을 때 신속히 대응할 수 있도록 시뮬레이션 훈련을 정기적으로 실시해야 한다.
• AI 기반 위협 탐지 시스템 도입: AI가 생성한 허위 정보를 탐지할 수 있는 솔루션을 도입해 자동으로 필터링하는 시스템을 구축해야 한다.
• 내부 커뮤니케이션 체계 개선: 허위 정보가 유포되었을 때 신속히 내부적으로 공유하고 대응할 수 있는 체계를 마련해야 한다.
• 법적 대응 준비: 허위 정보로 인한 피해 발생 시 법적 대응을 준비해야 한다. 특히 악의적인 AI 생성 콘텐츠에 대해서는 법적 책임을 물을 수 있도록 대비해야 한다.

“AI가 만든 허위 정보는 이제 단순한 가짜 뉴스가 아니다. 이는 실제 비즈니스에 영향을 미치는 강력한 위협 요소로 진화했다. 기업은 이 같은 위협에 신속히 대응할 수 있는 체계를 마련해야 한다.”

AI 기술이 발전하면서 허위 정보의 위협도 커지고 있다. 기업은 AI가 만든 narratives가 초래할 수 있는 위험을 인지하고, 체계적인 대응 전략을 수립해야 한다. 그렇지 않으면 AI가 만든 허구는 언제든 실제 비즈니스를 위협할 수 있는 강력한 공격 수단이 될 것이다.