Google verhoogt snelheid van Gemma 4 AI-modellen met 3x dankzij voorspellende tokens

Snellere lokale AI met voorspellende technologie

Google heeft onlangs de Gemma 4-modellen gelanceerd, een reeks open-source AI-modellen die lokale AI-toepassingen een flinke boost moeten geven. Nu introduceert het bedrijf experimentele Multi-Token Prediction (MTP) drafters, die de snelheid van tekstgeneratie met een factor drie kunnen verhogen.

Deze nieuwe techniek maakt gebruik van speculatief decoderen: de modellen proberen voorspellend toekomstige tokens te genereren, in plaats van sequentieel één voor één. Dit vermindert de wachttijd en maakt lokale AI-toepassingen aanzienlijk sneller.

Gemma 4: krachtig, maar afhankelijk van hardware

De Gemma 4-modellen zijn gebaseerd op dezelfde technologie als Google’s geavanceerde Gemini AI, maar zijn geoptimaliseerd voor lokale uitvoering. Waar Gemini draait op Google’s eigen TPU-chips in grote clusters, zijn de Gemma-modellen ontworpen om op consumentenhardware te functioneren.

Een hoogwaardige AI-versneller kan zelfs de grootste Gemma 4-modellen op volle precisie uitvoeren. Door kwantisering kunnen ze ook draaien op een consumenten-GPU, wat de toegankelijkheid vergroot. Toch blijven er beperkingen bestaan door de hardware die de meeste gebruikers ter beschikking hebben.

Meer vrijheid met Apache 2.0-licentie

Google heeft de licentie voor Gemma 4 gewijzigd naar Apache 2.0, een veel permissievere licentie dan de voorgaande versies. Dit maakt het makkelijker voor ontwikkelaars om de modellen te gebruiken, aan te passen en te distribueren zonder juridische beperkingen.

De MTP-technologie biedt een oplossing voor de snelheidsbeperkingen van lokale AI. Door toekomstige tokens te voorspellen, kan de generatiesnelheid aanzienlijk worden verhoogd, zelfs op minder krachtige hardware.

Wat betekent dit voor gebruikers?

• Snellere respons: AI-toepassingen reageren drie keer zo snel op prompts.
• Lokale privacy: Gegevens blijven op de eigen hardware, zonder afhankelijkheid van cloudoplossingen.
• Meer flexibiliteit: De Apache 2.0-licentie maakt experimenteren en aanpassen eenvoudiger.

«De MTP-technologie is een gamechanger voor lokale AI. Het maakt Gemma 4 niet alleen krachtiger, maar ook toegankelijker voor ontwikkelaars en eindgebruikers.» — Google-woordvoerder

Toekomst van lokale AI

Met de introductie van MTP drafters zet Google een belangrijke stap in de ontwikkeling van lokale AI. De combinatie van snellere generatie, betere hardware-ondersteuning en een permissievere licentie maakt Gemma 4 aantrekkelijker voor zowel ontwikkelaars als bedrijven die afhankelijk zijn van efficiënte AI-oplossingen.