AI AGI 機械学習 ニューラルネットワーク マルチエージェント トランスフォーマーモデル 汎用人工知能 Sakana AI

AI業界の「万能薬」とされるトランスフォーマーモデル

現在、AI業界の大手企業は、研究開発費と資本のほとんどを、トランスフォーマーモデルと呼ばれる技術に注ぎ込んでいる。このモデルは、大規模言語モデル（LLM）の基盤技術として、ChatGPTなどの生成AIを支える中核技術だ。しかし、このアプローチに疑問を投げかける専門家も少なくない。

「トランスフォーマー一辺倒」のリスク

AGI（Artificial General Intelligence、汎用人工知能）という用語を2005年に提唱したベン・ゲーツェル氏は、現在のAI業界の動向について懐疑的だ。ゲーツェル氏は、大手AI企業がGPT（Generative Pre-trained Transformer）の亜種を追求することに「リソースの無駄遣い」と指摘する。

「商業的なAI業界は、GPTのコピーにすべてを賭けている。しかし、これらのLLMは基本的に同じことをしているに過ぎない。これはリソースの浪費だ」

ゲーツェル氏によれば、トランスフォーマーモデルは、人間のように新しい経験から継続的に学習し、内部パラメータをリアルタイムで更新することができないという根本的な制限がある。代わりに、新しい対話ごとに初期パラメータに戻り、過去の経験から実質的な学習をしないのだ。

コストパフォーマンスの悪化

トランスフォーマーモデルの訓練には数十億ドル規模の計算コストがかかり、運用時にも膨大な計算リソースが必要だ。現状では、計算量と訓練データを増やすことで知能の向上が見られるが、モデルが大規模化するにつれて、そのコストは指数関数的に増大している。ゲーツェル氏は、このスケールアップだけではAGIの実現には不十分だと主張する。

代替アーキテクチャへの模索

一部の研究機関では、人間のように継続的に学習できる新しいニューラルネットワークアーキテクチャの開発が進められている。ゲーツェル氏は、Google DeepMindやMicrosoft、そしてイリヤ・スツケーバー氏のSafe Superintelligenceなどが、この分野で先進的な取り組みを行っていると指摘する。

「DeepMindには多様なAIチームが存在し、代替のAIパラダイムに関する豊富な経験を持っている。しかし、現状では計算資源のほとんどが既存手法の改良に費やされ、真のAGIにつながる可能性のある新しいアーキテクチャの追求が後回しにされている」

新たなアプローチを模索するスタートアップ

東京発のスタートアップ、Sakana AIは、2023年にトランスフォーマーモデルの発明者の一人であるリオン・ジョーンズ氏と元Google DeepMind研究者のデイビッド・ハ氏によって設立された。同社は先週、フラッグシップ製品「Sakana Fugu」のベータ版をリリースした。Fuguは、OpenAI、Google、Anthropicなどの最先端基盤モデルを統合するマルチエージェントオーケストレーションシステムだ。

このシステムは、複数のAIモデルを協調させることで、単一のモデルでは実現できない高度なタスクの実行を目指している。ゲーツェル氏は、このようなマルチエージェントアプローチが、AGI実現に向けた有望な方向性の一つだと期待を寄せている。

AGI実現への道筋

ゲーツェル氏は、AGIが数年以内に実現する可能性を楽観視しているが、そのためには現在のLLMのスケールアップにとどまらない、根本的な技術革新が必要だと強調する。業界全体がトランスフォーマーモデル一辺倒の戦略から脱却し、多様なアプローチを模索することが、真の汎用AIへの道を開く鍵となるだろう。

出典: Fast Company
米コレクター、4台の虫をモチーフにしたブガッティを所有 — 最高額は30億円超か
← 前へ

米コレクター、4台の虫をモチーフにしたブガッティを所有 — 最高額は30億円...

 欧州の年金危機：労働力不足と高齢化が招く経済崩壊のリスク
次へ →

欧州の年金危機：労働力不足と高齢化が招く経済崩壊のリスク