AI 시대 맞춤형 기술 아키텍처, 90일 만에 준비하는 법

AI 시대, 기술 아키텍처가 AI 전략의 한계를 결정한다

2026년 4월 클라우드 호스팅 플랫폼 베르셀(Vercel)은 내부 시스템 해킹으로 고객 데이터가 유출됐다고 밝혔다. 원인은 직원이 업무용 구글 계정으로 제3자 AI 생산성 도구에 가입하며 전체 접근 권한을 부여한 데 있었다. 해당 AI 도구의 시스템이 해킹당하자 공격자는 베르셀의 내부 환경으로 침투할 수 있었다. 유출된 데이터베이스는 해커 포럼에 200만 달러에 판매됐으며, 이는 소프트웨어 취약점을 직접 공격한 것이 아니라 기술 아키텍처의 구조적 결함을 악용한 사례였다.

이 사건은 AI 도입 시 기술 아키텍처가 얼마나 중요한지를 보여준다. 많은 기업이 AI 도구 도입과 AI 기반 워크플로우 구축, 자율 AI 에이전트 실험을 진행하지만, 정작 기반이 되는 기술 아키텍처는 과거에 설계된 레거시 시스템인 경우가 많다. 이는 AI 시스템의 성능과 확장성 모두를 제한하는 요소다.

레거시 아키텍처 위에 AI를 구축할 때의 문제점

• 데이터 품질 저하: AI는 데이터 품질에 의존하지만, 대부분의 기업은 데이터가 분산되어 있고, 관리 체계가 일관되지 않으며, 품질 문제가 방치된 상태다.
• GPU 집약적 워크로드 미지원: AI 워크로드는 예측 불가능한 트래픽과 데이터 위치 민감도를 요구하지만, 기존 인프라는 안정적인 트랜잭션 처리에 맞춰져 있다.
• 모델 관리 미흡: 각 팀이 자체적으로 모델을 선택하면서 중복 투자와 위험 관리 체계의 부재가 발생한다.
• 통합 및 자동화 부족: API와 미들웨어가 문서화되지 않거나 관리되지 않으면 AI가 그 취약성을 가속화한다.
• 거버넌스 미비: AI와 사용자 인터페이스, 정책, 모니터링 체계가 연결되지 않으면 문제 발생 시 원인 분석이 어렵다.

AI 준비형 아키텍처의 5가지 핵심 계층

현대 AI 기술 스택은 상호 의존적인 5가지 계층으로 구성된다. 각 계층은 특정 요구사항을 가지며, 한 계층의 약점이 다른 계층의 성능을 제한한다.

1. 데이터 및 스토리지

AI 시스템은 데이터 품질에 따라 성능이 좌우된다. 그러나 대부분의 기업은 데이터가 분산되어 있고, 관리 체계가 일관되지 않으며, 품질 문제가 방치된 상태다. AI 도입 전 데이터 통합과 품질 관리 체계가 필수적이다.

2. 컴퓨팅 및 가속화

AI 워크로드는 GPU 집약적이며, 예측 불가능한 트래픽과 데이터 위치 민감도를 요구한다. 기존 인프라는 안정적인 트랜잭션 처리에 맞춰져 있어 AI 워크로드에 비효율적이다. 클라우드 기반 GPU 리소스와 분산 컴퓨팅 환경 구축이 필요하다.

3. 모델 및 알고리즘

기업은 모델 선택을 팀 단위로 진행하면서 중복 투자와 위험 관리 체계의 부재가 발생한다. 중앙 집중식 모델 관리 체계와 표준화된 평가 시스템이 필요하다.

4. 오케스트레이션 및 툴링

API, 미들웨어, 자동화 프레임워크는 AI 시스템의 핵심 연결고리다. 문서화되지 않거나 관리되지 않는 통합 체계는 AI가 그 취약성을 가속화할 수 있다. 표준화된 API 관리와 모니터링 체계가 필수적이다.

5. 애플리케이션 및 거버넌스

AI와 사용자 인터페이스, 정책, 모니터링 체계가 연결되지 않으면 문제 발생 시 원인 분석이 어렵다. AI 거버넌스 체계와 감사 시스템 구축이 필요하다.

90일 아키텍처 업그레이드 계획

위 5가지 계층을 동시에 개선하는 것이 핵심이다. 한 계층의 약점이 다른 계층의 성능을 제한하기 때문이다. 다음은 90일 동안 실천할 단계별 계획이다.

1-30일: 진단 및 우선순위 설정

• 현재 아키텍처의 취약점 진단
• AI 워크로드 요구사항 분석
• 데이터 품질 및 관리 체계 평가
• 핵심 계층별 우선순위 설정

31-60일: 기반 기술 구축

• 클라우드 GPU 리소스 및 분산 컴퓨팅 환경 구축
• 데이터 통합 및 품질 관리 체계 도입
• 표준화된 모델 관리 및 평가 시스템 구축
• API 및 미들웨어 표준화 및 문서화

61-90일: 통합 및 거버넌스 강화

• AI 시스템과 비즈니스 워크플로우 통합
• 모니터링 및 감사 체계 구축
• 사용자 인터페이스 및 정책 체계 연동
• AI 거버넌스 체계 최종 점검

"AI 시스템의 성공은 그것이 구축된 기술 아키텍처에 전적으로 의존한다. 레거시 인프라 위에 AI를 구축하는 것은 본질적으로 한계를 안고 있는 것이다."

기술 아키텍처는 기업의 전략적 아키텍처의 한 부분이다. AI 시대 맞춤형 아키텍처에 대한 더 자세한 내용은 ‘AI를 위한 전략적 기업 아키텍처’ 관련 글을 참고하기 바란다.