AI-bransjen satser alt på transformator-modeller – men er det nok for ekte AGI?

De største aktørene innen kunstig intelligens satser nærmest alt på én strategi: å videreutvikle transformator-modeller (transformer models) for å oppnå menneskelignende generell intelligens. Denne tilnærmingen dominerer både forskning og kommersiell satsing, men kritikerne øker i antall.

Ben Goertzel, forsker og forfatter av boken Artificial General Intelligence (2005), er blant dem som stiller spørsmål ved denne strategien. Han mener at bransjen i stor grad kopierer oppskriften bak modeller som GPT, uten å utforske alternative veier.

«Den kommersielle AI-bransjen satser alt på å videreutvikle GPT-lignende modeller i ulike varianter. Etter min mening er dette en sløsing med ressurser, fordi alle disse store språkmodellene (LLM) i bunn og grunn gjør det samme,» uttaler Goertzel.

Han peker på at når en modell fungerer, blir alle enige om å doble innsatsen på det som allerede virker. Men denne konsentrasjonen av ressurser rundt én paradigme kan være risikabel. Transformator-modeller krever milliarder i beregningskraft for trening og drift, og gevinstene av ytterligere skalering blir stadig dyrere. Samtidig er det lite rom for å utforske fundamentalt nye tilnærminger, fordi de økonomiske innsatsene er så høye.

Goertzel understreker at skalering alene ikke er nok uten de rette algoritmene. En av de største svakhetene med dagens transformator-modeller er at de ikke kan lære kontinuerlig av nye erfaringer på samme måte som mennesker. I stedet nullstiller de seg tilbake til utgangspunktet ved hver ny interaksjon, uten å ta lærdom av tidligere samtaler.

Flere forskningsmiljøer, blant annet Google DeepMind, Microsoft og Safe Superintelligence (grunnlagt av Ilya Sutskever), utforsker nå alternative nevrale nettverksarkitekturer som kan muliggjøre kontinuerlig læring. Goertzel fremhever at DeepMind har en bred kompetanse innen alternative AI-paradigmer, noe som gir håp om at nye løsninger kan dukke opp.

Nye veier mot AGI

Selv om Goertzel er optimistisk med tanke på at AGI kan oppnås innen få år, mener han det krever at man går utover dagens store språkmodeller. En slik utvikling kan innebære å kombinere flere AI-modeller på en smartere måte, noe som er nøyaktig hva det japanske oppstartsfirmaet Sakana AI nå tester ut.

Forrige uke lanserte Sakana AI sin første kommersielle løsning, Sakana Fugu. Produktet er et multi-agent-system som koordinerer flere toppmoderne grunnmodeller, inkludert modeller fra OpenAI, Google og Anthropic. Systemet er designet for å håndtere komplekse oppgaver ved å kombinere styrken til flere AI-modeller, noe som kan være et steg nærmere ekte generell intelligens.

Sakana AI ble grunnlagt i 2023 av Llion Jones, en av de ni oppfinnerne av transformator-modeller, sammen med tidligere Google DeepMind-forsker David Ha. Selskapet har holdt en relativt lav profil siden oppstarten, men lanseringen av Fugu markerer et viktig skritt i retning av kommersiell utnyttelse av ny AI-teknologi.

Fremtidens AI krever modige valg

Goertzel mener at dagens konsentrasjon om transformator-modeller er en kortsiktig strategi som kan hindre reell fremgang. «Vi trenger modige investeringer i fundamentalt nye metoder, ikke bare skalering av det vi allerede har,» sier han.

Spørsmålet er om AI-bransjen er villig til å ta de nødvendige risikoene for å nå målet om ekte AGI – eller om den fortsetter å satse alt på én hest.