AI 보안 모델의 한계: 인간 전문가의 역할은 여전히 필수

AI 보안 모델의 놀라운 성능, 그러나 한계는 명확

최근 Anthropic의 Mythos Preview와 OpenAI의 GPT-5.5-Cyber와 같은 AI 보안 모델이 실제 환경에서 놀라운 성능을 발휘한다는 사실이 확인됐다. 이들 모델은 단几天 만에 수십만 개의 버그를 발견했으며, 일부는 공격 체인까지 구축할 수 있는 수준으로 평가받고 있다. 그러나 이러한 성능에도 불구하고, 인간의 개입 없이 완전한 자동화가 불가능하다는 사실이 드러났다.

주요 보안 기업들의 실험 결과

Palo Alto Networks는 Anthropic와 OpenAI의 모델을 테스트한 결과, 기존 월 평균 5~10개의 버그 발견에서 벗어나 단几天 만에 75개의 버그를 발견했다고 밝혔다. 특히 AI는 낮은 심각도의 취약점을 연결해 실질적인 공격 체인으로 발전시킬 수 있는 능력이 있는 것으로 나타났다. 그러나 이 중 약 30%는 오류(false positive)였으며, 모델을 특정 환경에 맞춰 훈련하자 오류율이 감소했다는 점도 확인됐다.

Microsoft는 AI 기반 보안 시스템을 통해 Windows 네트워킹 및 인증 스택에서 16개의 새로운 취약점을 발견했다고 발표했다. 또한 AI 도구가随着时间的推移에 따라 발견되는 취약점의 양을 증가시킬 가능성이 높다고 지적하며, 보안 담당자들이 더 신속하게 패치를 적용해야 할 압박이 커질 것이라고 경고했다.

Cisco는 이번 주 ‘Foundry Security Spec’이라는 오픈소스 가이드라인을 발표하며, AI 모델을 활용한 보안 전략의 중요성을 강조했다. Cisco는 AI가 생성한 취약점 보고서의 오류율이 너무 높아 검증 없이 사용하기 어렵다고 지적했다. 대신 모델에게 ‘검증 가능한 주장’을 생성하도록 지시했을 때 더 나은 결과를 얻을 수 있었다고 밝혔다.

인간의 검증과 지도가 필수

AI 보안 모델의 한계를 극복하기 위해서는 인간의 역할이 필수적이라는 점이 여러 연구를 통해 확인됐다. XBOW는 Mythos가 소스 코드 감사에서 강력한 성능을 발휘하지만, 취약점의 실질적인 유용성을 판단하는 데는 한계가 있다고 밝혔다. 또한 모델이 지나치게 보수적이거나 문자 그대로 해석하는 경향이 있어, 때로는 중요하지 않은 문제를 과도하게 강조할 수 있다고 지적했다.

Curl의 리드 개발자인 Daniel Stenberg은 Mythos가 Curl 코드에서 낮은 심각도의 버그 하나를 발견했지만, 동시에 여러 개의 오류와 중요하지 않은 문제도 보고했다고 밝혔다. 이는 AI가 생성한 결과물을 그대로 신뢰할 수 없으며, 인간의 검증이 반드시 필요하다는 사실을 보여준다.

AI 보안 시대의 도전 과제

AI 보안 모델의 발전은毫无疑问한 보안 위협의 진화와 맞물려 있다. 보안 기업들과 정부들은 이러한 모델을 활용해 공격자들의 다음 움직임을 예측하고자 노력하고 있지만, AI가 생성한 정보의 신뢰성을 확보하는 데는 여전히 많은 노력이 필요하다. Cisco의 가이드라인에서도 언급된 것처럼, AI가 생성한 취약점 보고서는 ‘검증 가능성’을 우선시해야 하며, 인간의 검토 과정을 거쳐야만 실질적인 가치를 발휘할 수 있다.

결국 AI 보안 모델은 강력한 도구이지만, 완전한 자동화는 아직 요원한 상황이다. 보안 전문가들은 AI의 성능을 극대화하기 위해 끊임없이 모델을 훈련시키고, 인간의 검증을 보완하는 데 주력해야 할 것이다.