기업 AI 프로젝트 실패의 진짜 이유: 언어 모델은 회사를 운영할 수 없다

언어 모델의 한계: 텍스트 예측에서 벗어나지 못하는 AI

2022년 11월 ChatGPT가 세상에 공개되었을 때, milioni의 사용자들은 AI가 더 이상 먼 미래의 약속이 아니라, 유용하고 직관적이며 놀라운 능력을 지닌 도구라는 사실을 직접 체감했다. 이 직관은 옳았다. 그러나 그로부터 도출된 결론은 달랐다.

개인이 키보드 앞에서 사용할 때는 Brilliance를 발휘하는 AI가 조직 내부로 들어오자마자 전혀 다른 모습을 보였다. 2년이 지난 지금, 수십억 달러의 투자와 무수한 시범 프로젝트, 끊임없는 '코파일럿' 도입에도 불구하고 새로운 사실이 드러났다. 생성형 AI는 언어 생성만큼은 탁월하지만, 기업은 언어만으로 운영되지 않는다는 것이다. 기업은 기억, 맥락, 피드백, 제약 조건으로 운영된다. 바로 이 간극이 문제다.

95%의 AI 프로젝트가 실패하는 이유

MIT 연구에 따르면, 기업용 생성형 AI 시범 프로젝트의 약 95%가 실질적인 성과를 내지 못하고 있으며, 겨우 5%만이 지속 가능한 생산 단계로 진입한다고 한다. 다른 분석들도 동일한 패턴을 지적한다: 광범위한 실험과 최소한의 변화.

이 문제는 기술 수용 부족이 아니라, 구조적 문제다. 기업은 AI를 적극 활용하지만, 정작 업무 방식은 변하지 않는 이중적 현실이 공존하고 있다. 개인은 AI를 유용하게 활용하지만, 조직은 통제된 시범 사업을 넘어서는 확장이 어렵다. MIT 분석은 이를 '학습 격차'로 설명한다. 개인은 빠르게 가치를 찾지만, 조직은 그 가치를 실질적인 워크플로우로 통합하지 못하는 것이다.

‘그림자 AI’의 등장: 공식과 비공식의 괴리

많은 기업에서 두 가지 현실이 공존한다. 직원들은 ChatGPT와 같은 도구를 끊임없이 사용해 문서 작성, 요약, 아이디어 도출, 업무 가속화 등에서 자연스럽고 효과적인 경험을 얻는다. 반면, 공식적인 AI 프로젝트는 carefully controlled pilots(신중한 시범 사업)을 벗어나지 못하고 있다. 결과적으로, 사람들은 실제로 유용한 것을 사용하지만, 기업은 효과가 없는 것에 투자하는 '그림자 AI' 현상이 나타나고 있다. 이는 변화에 대한 저항이 아니라, 신호다.

LLM의 근본적 오류: 운영 체제로 착각한 언어 모델

이 실패의 원인을 데이터 품질, 명확하지 못한 사용 사례, 훈련 부족 등으로 설명하는 경우가 많다. 모두 사실이고, 중요하지만, 이차적인 문제다. 진짜 문제는 훨씬 근본적이다. 대규모 언어 모델(LLM)은 텍스트 예측을 위해 설계되었다. 그뿐이다. 추론, 요약, 대화 등 모든 기능은 텍스트 예측의 부산물일 뿐이다.

그러나 기업은 텍스트의 연속으로 운영되지 않는다. 기업은 상태, 기억, 의존성, 인센티브, 제약 조건을 지닌 진화하는 시스템으로 운영된다. 이것이 바로 불일치의 핵심이다. LLM은 세상을 '보지' 못한다. 지속적인 상태를 유지하지 못한다. 실세계 피드백으로부터 학습하지 못한다(명시적으로 설계되지 않는 한). 현실을 예측하는 설득력 있는 언어를 생성할 뿐, 현실 안에서 작동하지 않는다. 단어 예측만으로는 회사를 운영할 수 없다.

LLM에게 불가능한 요청들

LLM에게 다음과 같은 요청을 해보자:

• ‘내 매출을 늘려줘’
• ‘마케팅 전략을 설계해줘’
• ‘팀 성과를 개선해줘’

LLM은 그럴듯한 언어로 답변을 생성할 수 있지만, 실제 매출 증가, 전략 실행, 팀 역량 강화와 같은 실행 가능한 변화를 이끌어내지는 못한다. 이는 LLM의 설계 한계 때문이다. 기업은 단순히 텍스트를 생성하는 도구가 아니라, 의사결정, 실행, 피드백 루프가 필요한 시스템이기 때문이다.

해결책은 무엇인가?

LLM의 한계를 극복하기 위한 노력이 이미 시작되고 있다. 일부 기업은 AI 시스템에 메모리, 상태 관리, 피드백 메커니즘을 통합하기 위해 노력하고 있으며, RAG(Retrieval-Augmented Generation)와 같은 기술을 통해 AI가 최신 데이터와 맥락을 반영할 수 있도록 개선하고 있다. 또한, AI를 특정 업무 워크플로우에 밀접하게 통합하여 실질적인 가치를 창출하는 데 중점을 두고 있다.

그러나 가장 중요한 것은, 기업들이 AI를 단순히 ‘도구’로 바라보는 데서 벗어나, 회사의 운영 방식 자체를 재설계하는 것이다. AI는 더 이상 선택이 아니라 필수가 되었지만, 그 가치를 극대화하기 위해서는 기술적 한계를 인정하고, 이를 보완할 수 있는 구조적 변화를 추진해야 한다.

“LLM은 회사를 운영할 수 없다. 그러나 회사를 더 똑똑하게 운영할 수 있도록 돕는 도구는 될 수 있다.”