¿Es la apuesta masiva por los modelos transformers la clave para alcanzar la IA general? Los expertos lo dudan

La industria de la IA apuesta todo a los modelos transformers

Las grandes empresas de inteligencia artificial están destinando la mayoría de su inversión en I+D y recursos computacionales a perfeccionar los modelos transformers preentrenados, convencidas de que estos pueden alcanzar la inteligencia general artificial (AGI). Sin embargo, esta estrategia, basada en el algoritmo de retropropagación, enfrenta crecientes escepticismos.

Ben Goertzel: "Copiar GPT es un desperdicio de recursos"

Ben Goertzel, quien acuñó el término "AGI" en 2005, critica la concentración de esfuerzos en variantes de modelos como GPT. Según él, "la industria comercial de IA solo apuesta por replicar GPT en diferentes versiones, lo que, en mi opinión, es un desperdicio de recursos porque todos estos modelos grandes hacen básicamente lo mismo".

Goertzel señala que el enfoque actual es arriesgado: los modelos transformers requieren inversiones millonarias en cómputo para su entrenamiento y operación. Aunque hasta ahora han mostrado mejoras al aumentar la escala, los costes se disparan y los beneficios podrían no compensar el gasto a largo plazo.

El problema del aprendizaje continuo

Una de las principales limitaciones de los transformers es su incapacidad para aprender de forma continua, como hacen los humanos. Goertzel explica que estos modelos "vuelven a sus parámetros iniciales en cada interacción, sin incorporar realmente lo aprendido en experiencias previas".

Investigadores de Google DeepMind, Microsoft e Ilya Sutskever (cofundador de Safe Superintelligence) están explorando arquitecturas alternativas que permitan el aprendizaje en tiempo real. Goertzel destaca la diversidad en equipos como el de DeepMind, que cuenta con expertos en distintos paradigmas de IA.

¿Hacia dónde debe dirigirse la investigación en IA?

Aunque Goertzel es optimista sobre la posibilidad de alcanzar la AGI en los próximos años, cree que será necesario trascender el simple escalado de los modelos actuales. "La escala por sí sola no es suficiente sin los algoritmos adecuados", afirma.

Sakana AI: un enfoque innovador con agentes autónomos

La startup japonesa Sakana AI, fundada en 2023 por Llion Jones (uno de los inventores de los modelos transformers) y el exinvestigador de Google DeepMind David Ha, ha lanzado Sakana Fugu, un sistema de orquestación multiagente.

Fugu coordina múltiples modelos de fundación avanzados, como los de OpenAI, Google y Anthropic, para crear agentes con mayor capacidad de generalización. Este enfoque busca superar las limitaciones de los transformers tradicionales mediante la combinación de inteligencia distribuida.

El futuro de la AGI: ¿innovación o estancamiento?

"La industria está apostando demasiado por un solo paradigma. Si queremos AGI real, necesitamos explorar alternativas que vayan más allá del escalado de modelos existentes". — Ben Goertzel

Mientras las grandes empresas invierten miles de millones en refinar los transformers, voces como la de Goertzel advierten que, sin cambios fundamentales, el progreso podría estancarse. El debate está servido: ¿la AGI llegará mediante la evolución de los modelos actuales o requerirá un salto disruptivo en la arquitectura de la IA?