AI-branschen satsar allt på transformermodeller – men räcker det för verklig AGI?

Transformermodeller dominerar AI-utvecklingen – men är det rätt väg till AGI?

Stora AI-företag som Google, Microsoft och OpenAI satsar nästan all sin forskning och kapital på transformermodeller som grund för artificiell generell intelligens (AGI). Denna strategi bygger på förtränade modeller och backpropagation, en standardmetod för att träna djupa neurala nätverk. Men kritiker menar att tillvägagångssättet är riskabelt och ineffektivt.

Skalfördelar räcker inte – enligt AGI-pionjären Ben Goertzel

Ben Goertzel, som myntade begreppet AGI 2005, ifrågasätter branschens ensidiga satsning. "Den kommersiella AI-industrin slösar resurser på att kopiera GPT-varianter utan att egentligen utveckla ny teknik," säger han. "När något fungerar, vill alla dubbla och tredubbla insatserna – men det betyder inte att det är rätt väg framåt."

"Transformermodeller kräver miljardinvesteringar i beräkningskraft och stora resurser för drift. Även om modellerna blir större, minskar avkastningen på investeringen snabbt. Dessutom saknas möjlighet till kontinuerligt lärande – något som är avgörande för mänsklig intelligens."

Alternativa arkitekturer utforskas – men resurserna är begränsade

Goertzel pekar på att transformermodeller inte kan lära sig kontinuerligt från nya erfarenheter, till skillnad från människor. Istället återställs modellerna till sina ursprungliga parametrar vid varje ny interaktion. Forskare vid Google DeepMind, Microsoft och Safe Superintelligence utforskar dock alternativa neurala nätverksarkitekturer som möjliggör kontinuerligt lärande.

Enligt Goertzel har DeepMind stor kompetens inom alternativa AI-paradigmer, men branschen fokuserar ändå främst på att förfina existerande metoder. "Resultatet blir en AI-utveckling som är fast i en ineffektiv cykel," säger han.

Sakana AI bryter ny mark med fleragentsystem

Tokyo-baserade startupen Sakana AI, grundad 2023 av Llion Jones (en av uppfinnarna bakom transformermodeller) och tidigare Google DeepMind-forskaren David Ha, har nyligen lanserat sin första kommersiella produkt: Sakana Fugu.

Fugu är ett fleragentsystem som koordinerar flera toppmoderna grundmodeller från företag som OpenAI, Google och Anthropic. Produkten representerar ett steg bort från den ensidiga satsningen på enskilda stora språkmodeller och utforskar istället hur flera AI-system kan samarbeta för att uppnå mer flexibel och generaliserande intelligens.

Kan fleragentsystem vara nyckeln till AGI?

Sakana Fugu syftar till att lösa begränsningar i dagens transformermodeller genom att kombinera flera specialiserade AI-agenter. Denna approach kan möjliggöra kontinuerligt lärande och anpassning, något som traditionella transformermodeller saknar.

Goertzel är optimistisk inför framtiden och tror att AGI kan uppnås inom några år – men bara om branschen vågar satsa på nya arkitekturer bortom dagens dominerande modeller.

Sammanfattning: En bransch i väntan på genombrott

• Transformermodeller dominerar AI-utvecklingen men kritiseras för ineffektivitet och bristande flexibilitet.
• Experter som Ben Goertzel varnar för att skalfördelar inte räcker för att uppnå AGI.
• Alternativa lösningar utforskas, men resurserna är begränsade och fokus ligger kvar på förfinade transformermodeller.
• Sakana AI:s fleragentsystem är ett lovande undantag som kan bana väg för ny AI-arkitektur.