AI 산업의Transformer 모델 과잉 투자…진정한 AGI 달성은 멀까

Transformer 모델에 집중하는 AI 산업의 위험성

최근 AI 산업은Transformer 모델에 거의 모든 연구개발(R&D)과 자본을 투자하고 있다. 이 모델은 사전훈련된 대규모 언어모델(LLM)의 핵심 기술로, 인공일반지능(AGI) 달성을 위한 핵심 전략으로 여겨지고 있다. 그러나 AGI 개념을 처음 제시한 벤 괴르첼(Goertzel) 박사는 이 접근법에 대해 회의적인 입장이다.

"상업용 AI 산업은 GPT(생성형 사전훈련 Transformer) 모델을 다양한 형태로 복제하는 데 모든 자원을 집중하고 있지만, 이는 자원 낭비에 불과합니다. 현재 대부분의 LLM은 근본적으로 같은 일을 하고 있을 뿐입니다."

괴르첼 박사는Transformer 모델이Compute와 데이터 규모 확대에만 의존하고 있으며, 이는 효율성이 점차 떨어지고 있다고 지적했다. 대규모 모델 훈련에는 수십억 달러의Compute 비용이 소요되며, 운영 중에도 지속적인Compute 자원이 필요하다. 현재까지는규모 확대가 성능 향상으로 이어졌지만, 모델이 거대해질수록 비용 대비 효과는 점차 감소하고 있다.

Transformer 모델의 한계: 지속적 학습의 부재

괴르첼 박사에 따르면,Transformer 모델의 가장 큰 한계는 지속적 학습 능력의 부족이다. 인간은 새로운 경험을 통해 끊임없이 학습하고 내부 매개변수를 업데이트하지만,Transformer 모델은 새로운 상호작용 시 기본 매개변수로 되돌아가며 이전 경험으로부터 유의미한 학습을 하지 못한다.

그는 구글 딥마인드, 마이크로소프트, 안전한 슈퍼지능(Safe Superintelligence)의 이-lya 슈츠케버(Ilya Sutskever) 등이 지속적 학습이 가능한 새로운 신경망 아키텍처를 연구 중이라고 밝혔다. 특히 딥마인드는 다양한 AI 패러다임에 대한 경험과 인재 풀을 보유하고 있어Transformer 모델 외의 대안을 모색할 수 있는 역량을 갖추고 있다고 평가했다.

AGI 달성을 위한 대안적 접근법의 필요성

괴르첼 박사는AGI가Transformer 모델의 단순 규모 확대를 넘어서는 새로운 접근법에서 나올 가능성이 높다고 강조했다. 그는AGI가 조만간 실현될 수 있지만, 이를 위해서는Transformer 모델에만 의존하지 않는 혁신적인 방법이 필요하다고 말했다.

Sakana AI의 다중 에이전트 시스템: 새로운 시도

지난주 도쿄 기반 스타트업 Sakana AI는 자체 개발한 Sakana Fugu 베타 버전을 출시했다. 이 제품은Transformer 모델의 한계를 극복하기 위한 새로운 접근법으로, 다중 에이전트 오케스트레이션 시스템을 제공한다. Sakana Fugu는 OpenAI, 구글, 앤트로픽 등 최신 Foundation 모델들을 조율하여 보다 지능적인 AI 시스템을 구축하는 데 중점을 두고 있다.

Sakana AI는 2023년Transformer 모델의 공동 개발자인 리온 존스(Llion Jones)와 구글 딥마인드 전 연구원 데이비드 하(David Ha)가 공동 창업했다. 이 회사는Transformer 모델에만 의존하지 않는 새로운 AI 패러다임을 모색하며, AGI 실현을 위한 대안을 제시하고 있다.

AI 산업의 미래: 규모 확대가 답이 될까?

현재 AI 산업은Transformer 모델의 규모 확대를 통해 AGI를 달성하려는 전략을 고수하고 있다. 그러나Compute와 데이터 규모가 커질수록 비용 효율성은 떨어지고 있으며,Transformer 모델의 한계가 점차 부각되고 있다. 괴르첼 박사와 같은 전문가들은Transformer 모델 외의 접근법이 AGI 실현에 더 효과적일 수 있다고 주장하고 있다.

AI 산업이Transformer 모델에 과도하게 집중하는 동안, Sakana AI와 같은 스타트업들은 새로운 패러다임을 모색하며 혁신적인 솔루션을 제시하고 있다. AI의 미래는 과연Transformer 모델의 단순 확대에만 달려 있을까, 아니면 새로운 접근법이 필요할까? 이 질문에 대한 답은 AI 산업의 다음 도전에 달려 있다.