Google acelera Gemma 4 com nova técnica que prevê tokens futuros

O Google lançou os modelos de IA Gemma 4 na primavera deste ano, prometendo um novo patamar de poder e desempenho para inteligência artificial local. Agora, a empresa apresenta uma atualização que pode tornar esses modelos ainda mais rápidos: os Multi-Token Prediction (MTP) drafters para o Gemma.

Segundo o Google, esses modelos experimentais utilizam uma forma de decodificação especulativa para antecipar tokens futuros, acelerando significativamente a geração de respostas em comparação ao método tradicional de geração sequencial de tokens.

Tecnologia por trás do Gemma 4

Os modelos mais recentes do Gemma são construídos com a mesma tecnologia que alimenta o Gemini, o avançado sistema de IA do Google. No entanto, o Gemma 4 é otimizado para rodar localmente, em vez de depender de clusters massivos de TPUs (Tensor Processing Units) da empresa.

O Gemini é projetado para operar em chips TPU personalizados, conectados por redes ultrarrápidas e com memória de alta capacidade. Já o Gemma 4 pode ser executado em um único acelerador de IA de alta potência, em precisão total, ou até mesmo em uma GPU convencional, graças à técnica de quantização.

Vantagens da execução local

Uma das principais vantagens do Gemma 4 é permitir que usuários executem modelos de IA diretamente em seus próprios hardwares, sem a necessidade de compartilhar dados com sistemas de nuvem de terceiros. Além disso, o Google alterou a licença do Gemma 4 para Apache 2.0, muito mais permissiva do que as licenças anteriores, facilitando o uso e a modificação pelos desenvolvedores.

Limitações e a solução MTP

Apesar dos avanços, a maioria dos usuários ainda enfrenta limitações de hardware para rodar modelos de IA localmente. É aí que entram os MTP drafters, que prometem contornar esse problema ao prever múltiplos tokens de uma só vez, reduzindo o tempo de resposta e melhorando a eficiência.

Com essa inovação, o Google reforça seu compromisso em democratizar o acesso à IA avançada, tornando-a mais rápida e acessível para desenvolvedores e entusiastas.