Warum Transformator-Modelle allein nicht zu künstlicher Allgemeinintelligenz führen

Die größten KI-Labore setzen fast ihre gesamten Forschungs- und Entwicklungsbudgets sowie Kapitalinvestitionen darauf, dass vortrainierte Transformator-Modelle eines Tages menschliche Intelligenz erreichen können. Dieser Ansatz basiert auf Backpropagation, der Standardmethode zum Training tiefer neuronaler Netze. Doch Ben Goertzel, der den Begriff „AGI“ (Artificial General Intelligence) prägte, zeigt sich skeptisch: „Die kommerzielle KI-Branche setzt alles auf die Nachahmung von GPT in verschiedenen Varianten – doch meiner Meinung nach ist das eine Verschwendung von Ressourcen, da alle großen Sprachmodelle im Grunde dasselbe tun.“

Goertzel argumentiert, dass die Branche zu stark auf Skalierung setzt, ohne die zugrundeliegenden Algorithmen zu hinterfragen. Ein zentrales Problem von Transformator-Modellen sei ihre Unfähigkeit, kontinuierlich aus neuen Erfahrungen zu lernen und ihre internen Parameter in Echtzeit anzupassen – im Gegensatz zum menschlichen Gehirn. Stattdessen würden sie bei jeder Interaktion auf ihre Ausgangsparameter zurückfallen, ohne nachhaltig dazuzulernen. „Skalierung allein reicht nicht aus, wenn die grundlegenden Algorithmen fehlerhaft sind“, betont er.

Forschende bei Google DeepMind, Microsoft und Safe Superintelligence (gegründet von Ilya Sutskever) arbeiten bereits an alternativen neuronalen Architekturen, die kontinuierliches Lernen ermöglichen könnten. Goertzel lobt DeepMinds Vielfalt in der Forschung und deren Expertise in alternativen KI-Paradigmen. Dennoch dominiert aktuell die Ressourcenverteilung auf die Optimierung bestehender Modelle – statt auf bahnbrechende Neuentwicklungen zu setzen.

Trotz dieser Kritik bleibt Goertzel optimistisch, dass AGI innerhalb weniger Jahre entstehen könnte – allerdings nur, wenn die Branche bereit ist, über die bloße Skalierung von Sprachmodellen hinauszudenken.

Neue Ansätze: Sakana AI kombiniert mehrere KI-Modelle

Ein Beispiel für innovative KI-Architekturen ist das japanische Startup Sakana AI. Das Unternehmen, 2023 von Llion Jones – einem der neun Erfinder der Transformator-Modelle – und dem ehemaligen Google-DeepMind-Forscher David Ha gegründet, hat kürzlich sein erstes kommerzielles Produkt vorgestellt: Sakana Fugu.

Fugu ist ein Multi-Agenten-Orchestrierungssystem, das mehrere hochmoderne Grundlagenmodelle (u. a. von OpenAI, Google und Anthropic) koordiniert. Damit soll die Intelligenz dieser Modelle kombiniert und ihre Stärken gezielt genutzt werden. Der Ansatz geht über die reine Skalierung einzelner Modelle hinaus und könnte einen Schritt in Richtung robusterer und anpassungsfähigerer KI-Systeme darstellen.

Während die Branche weiterhin Milliarden in die Optimierung von Transformator-Modellen investiert, zeigen Projekte wie Sakana Fugu, dass es auch andere Wege gibt – auch wenn sie noch am Anfang stehen.