Google erweitert On-Device-KI Edge um Gemma 3n, RAG und Function Calling

Google veröffentlichte die Details auf seinem Entwickler-Blog zusammen mit zwei neuen Bibliotheken: einer für On-Device Retrieval-Augmented Generation (RAG) und einer für Function Calling. Beide erscheinen zuerst auf Android, weitere Plattformen folgen.

Googles These lautet, dass kleine Sprachmodelle (SLM) die Demonstrationsphase hinter sich gelassen haben. Der Blog, geschrieben von Senior Product Manager Mark Sherwood und vier Ingenieuren, beschreibt Feldtechniker, die ein Teil ohne Service fotografieren, Lagerpersonal, das Bestände per Sprache aktualisiert, und eine medizinische App, die diktierte Krankengeschichten in ausgefüllte Formularfelder verwandelt. Jedes Beispiel setzt voraus, dass das Modell lokal läuft, ohne Rundgang zu einem Server. Die von Google genannten Zahlen sind spezifisch. Gemma 3 1B, vorgestellt Anfang dieses Jahres, ist 529 MB groß und verarbeitet bis zu 2.585 Token pro Sekunde im Pre-Fill auf einer mobilen GPU, was laut Unternehmen ausreicht, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten.

Der kleine Fußabdruck hält die Geräteabdeckung breit und begrenzt den Download, den eine App auf einen Benutzer abwirft.

Das neuere Gemma 3n kommt als frühe Vorschau in Varianten mit 2B und 4B Parametern, beide nativ für Text, Bild, Video und Audio. Auf Hugging Face sind vorerst nur Text und Bild verfügbar; Audio folgt. Google verweist auch auf neue Quantisierungsschemata, die die Modellgröße gegenüber bf16 um einen Faktor von 2,5 bis 4 reduzieren und dabei Latenz und Spitzen-Speicherbedarf senken.

Apple und andere haben sich bereits demselben Problem genähert

Google ist nicht der Erste. Ars Technica berichtete am 25. April 2024, dass Apple acht Quellcode-verfügbare Modelle unter dem Namen OpenELM veröffentlichte, mit einer Größenordnung von 270.000.000 bis 3.000.000.000 Parametern, klein genug für die Ausführung auf einem Smartphone. Apple veröffentlichte Modellgewichte, Trainingscode und reproduzierbare Rezepte, obwohl die Apple Sample Code License Einschränkungen mit sich bringt, die möglicherweise nicht einer strikten Definition von Open Source entsprechen. Das White Paper von Apple behauptete eine Genauigkeitsverbesserung von 2,36 Prozent gegenüber Allen AIs OLMo 1B bei der Verwendung der Hälfte der Pre-Training-Tokens, mittels einer von ihr als layer-wise scaling strategy bezeichneten Strategie. Zur Einordnung bemerkte Ars Technica, dass das größte Llama 3-Modell von Meta zu dieser Zeit 70.000.000.000 Parameter besaß und OpenAIs GPT-3 aus dem Jahr 2020 mit 175.000.000.000 Parametern ausgeliefert wurde. Ein 529 MB großes Modell ist eine völlig andere Kategorie.

Die Reproduzierbarkeit und Transparenz großer Sprachmodelle sind entscheidend für den Fortschritt der offenen Forschung, die Gewährleistung der Vertrauenswürdigkeit von Ergebnissen und die Ermöglichung von Untersuchungen zu Daten- und Modellverzerrungen sowie potenziellen Risiken.

Das stammt aus der Abstract von Apples OpenELM-Papier. Das Unternehmen warnte auch, dass Modelle, die auf öffentlichen Datensätzen trainiert wurden, ungenaue, schädliche, verzerrte oder störende Ausgaben erzeugen können.

Was die Forschung über Grenzen sagt

Ein November 2024-Papier auf arXiv stellte SlimLM vor, eine Serie von Modellen von 125M bis 7B Parametern, optimiert für Dokumentenassistenten auf einem Samsung Galaxy S24. Die Autoren berichteten von vergleichbarer oder überlegener Leistung gegenüber bestehenden kleinen Modellen und veröffentlichten eine Android-App, während sie darauf hinwiesen, dass On-Device-Verarbeitung Serverkosten senken und die Privatsphäre verbessern kann. Der eigene Rahmen des Papiers ist, dass die Leistung in der realen Welt auf Handys noch unerforscht bleibt.

Es gibt auch einen unbequemeren Befund. Ein separates arXiv-Papier von Prashant Mudgal testete sieben Konfidenzansätze über 7 Modellpaare und 5 Benchmarks und stellte fest, dass Token-Level-Entropie in Modellen unter 3 Milliarden Parametern praktisch blind ist: In 91 Prozent der Datensatz-Modell-Kombinationen lag die mittlere Token-Entropie nahe null, unabhängig davon, ob die Antwort richtig war. Semantische Entropie, berechnet durch das Sampeln mehrerer Antworten und deren Clustering nach Bedeutung, erholte ein nutzbares Signal. Das Weiterleiten unsicherer Abfragen an ein größeres Expertenmodell verbesserte die Genauigkeit um bis zu 50 Prozentpunkte, und Cross-Family-Routing durchschnitt +22,0 Prozent gegenüber +6,8 Prozent für Same-Family-Routing.

Googles Function-Calling-Bibliothek macht in der Praxis eine ähnliche Konzession. Der Blog stellt fest, dass sie mit einer Python-Tool-Simulationsbibliothek gekoppelt werden kann, die synthetische Daten generiert, um die Genauigkeit des Function Callings zu verbessern. Das ist eine Anerkennung, dass kleine Modelle Hilfe benötigen, bevor man ihnen vertrauen kann zu handeln.

Google hat nicht gesagt, wann Gemma 3n die Vorschau verlassen wird, oder welche Plattformen die RAG- und Function-Calling-Bibliotheken als Nächstes erreichen werden.