Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Google erweitert On-Device-KI Edge um Gemma 3n und ergänzt RAG sowie Function Calling

Google hat am 20. Mai mitgeteilt, dass sein AI-Edge-Stack inzwischen mehr als ein Dutzend kleine On-Device-Sprachmodelle unterstützt. Darunter ist eine frühe Vorschau von Gemma 3n, dem ersten multimodalen kleinen Modell des Unternehmens für Smartphones.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 28. September 20263 Min. LesezeitQuellen 4
Google erweitert On-Device-KI Edge um Gemma 3n und ergänzt RAG sowie Function Calling

Die Details stehen im Entwicklerblog von Google, zusammen mit zwei neuen Bibliotheken. Eine übernimmt Retrieval Augmented Generation (RAG) direkt auf dem Gerät, die andere Function Calling. Beide erscheinen zuerst für Android, weitere Plattformen sollen folgen.

Google argumentiert, kleine Sprachmodelle (SLMs) hätten die Demo-Phase hinter sich. Der Blog nennt drei Einsatzfälle: Servicetechniker, die ein Bauteil fotografieren, obwohl sie keinen Empfang haben; Lagerbeschäftigte, die den Bestand per Sprache aktualisieren; und eine Medizin-App, die diktierte Patientengeschichte in ausgefüllte Formularfelder überträgt. Der Beitrag stammt von Senior Product Manager Mark Sherwood und vier Ingenieuren. Jedes Beispiel setzt voraus, dass das Modell lokal läuft, ohne Umweg über einen Server. Die Zahlen sind konkret. Gemma 3 1B, Anfang des Jahres vorgestellt, umfasst 529MB. Auf einer mobilen GPU erreicht es beim Pre-Fill bis zu 2.585 Token pro Sekunde. Laut Unternehmen reicht das, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten.

Der geringe Platzbedarf sorgt für breite Geräteabdeckung. Er begrenzt zugleich den Download, den eine App dem Nutzer aufzwingt.

Das neuere Gemma 3n kommt als frühe Vorschau in Varianten mit 2.000.000.000 und 4.000.000.000 Parametern. Beide sind von Haus aus für Text, Bild, Video und Audio ausgelegt. Auf Hugging Face sind vorerst nur Text und Bild verfügbar, Audio soll folgen. Google verweist zudem auf neue Quantisierungsverfahren. Sie verkleinern das Modell um den Faktor 2,5 bis 4 gegenüber bf16 und senken zugleich Latenz und Spitzenlast im Speicher.

Apple und andere arbeiten am selben Problem

Google ist nicht der Erste. Ars Technica berichtete am 25. April 2.024, dass Apple acht quelloffen verfügbare Modelle unter dem Namen OpenELM veröffentlichte. Sie reichen von 270.000.000 bis 3.000.000.000 Parametern und sind klein genug für ein Smartphone. Apple veröffentlichte Modellgewichte, Trainingscode und reproduzierbare Rezepte. Die Apple Sample Code License enthält Einschränkungen, die eine strenge Definition von Open Source nicht erfüllen dürften. Apples Whitepaper beansprucht eine um 2,36 Prozent höhere Genauigkeit als Allen AIs OLMo 1B bei halbem Pre-Training-Tokenaufwand. Erreicht wurde das über eine sogenannte layer-wise scaling strategy. Zum Vergleich merkte Ars Technica an, dass Metas damals größtes Llama-3-Modell 70.000.000.000 Parameter hatte. OpenAIs GPT-3 aus 2.020 kam mit 175.000.000.000. Ein Modell mit 529MB ist eine völlig andere Kategorie von Objekt.

Die Reproduzierbarkeit und Transparenz großer Sprachmodelle sind entscheidend, um offene Forschung voranzubringen, die Verlässlichkeit von Ergebnissen zu sichern und Untersuchungen zu Daten- und Modellverzerrungen sowie möglichen Risiken zu ermöglichen.

Das stammt aus dem Abstract des OpenELM-Papiers von Apple. Das Unternehmen warnte zugleich, Modelle, die auf öffentlichen Datensätzen trainiert wurden, könnten ungenaue, schädliche, verzerrte oder anstößige Ausgaben erzeugen.

Was die Forschung über Grenzen sagt

Ein Papier von November 2.024 auf arXiv stellte SlimLM vor, eine Modellreihe von 125.000.000 bis 7.000.000.000 Parametern. Sie ist für Dokumentenassistenz auf einem Samsung Galaxy S24 abgestimmt. Die Autoren berichteten von vergleichbarer oder überlegener Leistung gegenüber bestehenden kleinen Modellen und veröffentlichten eine Android-App. Sie merkten an, dass Verarbeitung auf dem Gerät Serverkosten senken und den Datenschutz verbessern kann. Das Papier selbst räumt ein, dass die Leistung auf Smartphones im realen Einsatz noch zu wenig untersucht ist.

Es gibt auch einen unangenehmeren Befund. Ein separates arXiv-Papier von Prashant Mudgal testete sieben Konfidenzansätze über 7 Modellpaare und 5 Benchmarks. Ergebnis: Token-Entropie ist in Modellen unter 3.000.000.000 Parametern praktisch blind. In 91 Prozent der Datensatz-Modell-Kombinationen lag die mittlere Token-Entropie nahe null, unabhängig davon, ob die Antwort richtig war. Semantische Entropie, berechnet durch mehrfaches Abtasten von Antworten und deren Clustering nach Bedeutung, lieferte ein brauchbares Signal. Unsichere Anfragen an ein größeres Expertenmodell weiterzuleiten verbesserte die Genauigkeit um bis zu 50 Prozentpunkte. Routing über Modellfamilien hinweg erreichte im Mittel +22,0 Prozent gegenüber +6,8 Prozent innerhalb derselben Familie.

Googles Function-Calling-Bibliothek macht in der Praxis ein ähnliches Zugeständnis. Der Blog merkt an, sie lasse sich mit einer Python-Bibliothek zur Werkzeugsimulation kombinieren. Diese Bibliothek erzeugt synthetische Daten, um die Genauigkeit von Function Calling zu verbessern. Das ist das Eingeständnis, dass kleine Modelle Hilfe brauchen, bevor man ihnen Handlungen anvertraut.

Google hat nicht gesagt, wann Gemma 3n die Vorschau verlässt. Auch nicht, welche Plattformen die RAG- und Function-Calling-Bibliotheken als Nächstes erreichen.

Kommentare 0

Quellen

4
  1. 01On-device small language models with multimodality, RAG, and Function CallingEN
  2. 02Apple releases eight small AI language models aimed at on-device useEN
  3. 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  4. 04Do small language models know what they don't know?EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.