Kleine Sprachmodelle wandern aufs Gerät, doch die Konfidenzsignale hinken hinterher
Apples OpenELM-Familie reicht von 270.000.000 bis 3.000.000.000 Parametern, und Google liefert Gemma 3n inzwischen mit Text-, Bild-, Video- und Audioeingaben aus. Doch ein arXiv-Papier von 2026 berichtet, dass Token-Entropie bei Modellen unter 3.000.000.000 Parametern praktisch blind ist.

Kleine Sprachmodelle auf dem Gerät sind längst keine Forschungsneugier mehr. Binnen zwei Jahren sind sie von Proof-of-Concept-Gewichten auf Hugging Face zu ausgelieferten Bibliotheken mit Retrieval, Function Calling und multimodalen Eingaben geworden. Das Versprechen ist überall dasselbe: Die Inferenz bleibt auf dem Telefon oder Laptop, Serverkosten sinken, Nutzerdaten bleiben lokal.
Nicht mitgehalten hat das Werkzeug, das diesen Modellen sagt, wann sie sich irren.
Von acht winzigen Modellen zu einer Bibliothek
Apple eröffnete diese Phase am 24. April 2024 mit acht quelloffenen Sprachmodellen unter dem Namen OpenELM, kurz für Open-source Efficient Language Models, wie Ars Technica berichtete. Die Modelle reichten von 270.000.000 bis 3.000.000.000 Parametern und teilten sich in vier vortrainierte und vier instruktionsabgestimmte Varianten. Zum Vergleich: Metas Llama-3-Familie kam damals laut Ars Technica auf höchstens 70.000.000.000 Parameter, eine Version mit 400.000.000.000 war in Arbeit, und OpenAIs GPT-3 von 2020 erschien mit 175.000.000.000.
Apples Argument war nicht allein die Größe. Das Unternehmen erklärte, seine schichtweise Skalierungsstrategie verteile die Parameter effizienter über die Schichten, und sein White Paper meldete eine Verbesserung der Genauigkeit um 2,36 Prozent gegenüber OLMo 1B von Allen AI, bei halb so vielen Vortrainings-Tokens. Apple veröffentlichte außerdem die Trainingsbibliothek CoreNet und reproduzierbare Trainingsrezepte, was Ars Technica für einen großen Tech-Konzern ungewöhnlich nannte. Die Modelle hatten ein Kontextfenster von 2048 Tokens und wurden auf RefinedWeb, einem deduplizierten PILE, einer Teilmenge von RedPajama und einer Teilmenge von Dolma v1.6 trainiert, zusammen rund 1.800.000.000.000 Tokens.
Es besteht die Möglichkeit, dass diese Modelle als Antwort auf Nutzereingaben ungenaue, schädliche, voreingenommene oder anstößige Ausgaben erzeugen, warnte Apple in seinem Papier, wie Ars Technica zitierte.
Dieser Vorbehalt wiegt schwerer, je weiter diese Modelle das Labor verlassen.
Google macht aus SLMs eine Plattform
Bis Mai 2025 hatte sich der Rahmen verschoben: von der Veröffentlichung einzelner Modelle zur Pflege eines Ökosystems. Googles AI-Edge-Team erklärte, die Unterstützung auf dem Gerät von vier ersten Modellen auf mehr als ein Dutzend ausgeweitet zu haben, gehostet in einer neuen LiteRT-Community auf Hugging Face, darunter Gemma 3 und Gemma 3n.
Gemma 3n kam als frühe Vorschau und wurde als Gemmas erstes multimodales kleines Sprachmodell für das Gerät beschrieben, mit Varianten zu 2.000.000.000 und 4.000.000.000 Parametern, die Text, Bild, Video und Audio verarbeiten. Google erklärte, Text- und Bildmodalitäten seien auf Hugging Face verfügbar, Audio solle folgen. Das Unternehmen verwies außerdem auf Gemma 3 1B mit 529MB, das nach seinen Angaben auf einer mobilen GPU beim Pre-Fill bis zu 2.585 Tokens pro Sekunde schafft, genug, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten.
Der folgenreichere Teil der Ankündigung war die Infrastruktur. Google lieferte eine Bibliothek für Retrieval Augmented Generation auf dem Gerät aus, zum Start für Android verfügbar, dazu eine Bibliothek für Function Calling auf dem Gerät, ebenfalls zuerst für Android. Mit der RAG-Bibliothek kann ein Modell anwendungsspezifische Daten nutzen, ohne feinabgestimmt zu werden, und Google erklärte, sie könne die relevantesten Stücke aus 1000 Seiten Information oder 1000 Fotos herausziehen. Die Function-Calling-Bibliothek lässt ein Modell entscheiden, wann es vordefinierte Funktionen oder APIs aufruft; Googles Beispiel-App füllt ein Formular aus diktierter Sprache, wandelt Sprache in Text um, extrahiert Felder und ruft Anwendungsfunktionen auf.
Google beschrieb zudem neue Int4-Quantisierungsschemata für das Post-Training, die die Modellgröße nach eigenen Angaben um den Faktor 2,5 bis 4 gegenüber bf16 senken und dabei Latenz und Spitzenverbrauch an Speicher verringern. Solche Engineering-Details entscheiden, ob ein Modell ausgeliefert wird oder eine Demo bleibt.
SlimLM und der Samsung-Benchmark
Die akademische Arbeit lief parallel. Ein am 15. November 2024 bei arXiv eingereichtes und bis zum 25. November überarbeitetes Papier stellte SlimLM vor, eine Reihe kleiner Sprachmodelle, die für Dokumentenassistenz auf Mobilgeräten optimiert sind. Die Autoren Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt und Trung Bui experimentierten auf einem Samsung Galaxy S24 und loteten die Abwägungen zwischen Modellgröße von 125.000.000 bis 7.000.000.000 Parametern, Kontextlänge und Inferenzzeit aus.
SlimLM wurde auf SlimPajama-627.000.000.000 vortrainiert und auf DocAssist feinabgestimmt, einem Datensatz, den die Autoren für Zusammenfassung, Fragebeantwortung und Vorschlagsaufgaben aufbauten. Das Abstract sagt, das kleinste Modell habe auf dem S24 effizient gearbeitet, während größere Varianten innerhalb der mobilen Grenzen mehr Fähigkeiten boten, und die Arbeit schneide im Vergleich zu bestehenden kleinen Sprachmodellen günstig ab. Die Autoren veröffentlichten auch eine Android-Anwendung und beschrieben den Nutzen als geringere Serverkosten und besseren Datenschutz durch Verarbeitung auf dem Gerät.
Das Konfidenzproblem
Dann bleibt die Frage, ob diese Modelle wissen, was sie nicht wissen. Ein am 21. Juli 2026 bei arXiv eingereichtes Papier von Prashant Mudgal untersuchte entropiebasierte Konfidenzsignale in kleinen Sprachmodellen mit weniger als 3.000.000.000 Parametern, vollständig auf Verbraucherhardware laufend. Es bewertete sieben Ansätze über 7 Modellpaare und 5 Standard-NLU-Benchmarks.
Das Hauptergebnis ist unbequem. Token-Entropie war praktisch blind: In 91 Prozent der Datensatz-Modell-Kombinationen lag die mittlere Token-Entropie nahe null, unabhängig davon, ob die Antwort richtig war, was tokenbasierte Konfidenzsignale nach Aussage des Papiers in dieser Größenordnung unbrauchbar macht.
Semantische Entropie schnitt besser ab. Indem die Methode mehrere Stichproben erzeugt, Antworten nach Bedeutung gruppiert und die Verteilungsunsicherheit misst, gewann sie ein brauchbares Konfidenzsignal. Wer damit unsichere Anfragen an ein größeres Expertenmodell weiterleitete, verbesserte die Genauigkeit um bis zu 50 Prozentpunkte. Das Routing über Modellfamilien hinweg, das Papier nennt als Beispiel SmolLM 360.000.000 zu Phi-3.5-mini, brachte im Schnitt 22,0 Prozent Verbesserung gegenüber 6,8 Prozent innerhalb derselben Familie. Der Autor schließt daraus, der Wert von Entropiemethoden in kleinen Modellen liege nicht in Recheneinsparungen, sondern in intelligenter Zuteilung von Rechenleistung: mehr Tokens dort, wo sie am meisten bringen.
Denken ohne Worte
Eine andere Forschungslinie fragt, ob kleine Modelle ihre Überlegungen überhaupt ausschreiben müssen. Science News berichtete am 22. September 2026, dass ein kleines experimentelles System namens BDH-CQ, wobei DH für Dragon Hatchling steht, einige Denkaufgaben lösen kann, ohne Zwischenschritte auszubuchstabieren. Das Papier wurde am 10. August bei arXiv eingereicht und ist nicht begutachtet.
Statt Beispiele im Kontext zu halten, nutzt BDH-CQ jedes Beispiel, um einen Speicher fester Größe zu aktualisieren. Zuzanna Stamirowska, Komplexitätsforscherin und CEO des KI-Unternehmens Pathway, sagte Science News, sobald die Anfrage eintreffe, schreibe das Modell sein Denken gar nicht in Worten aus. "Nichts dazwischen wird je in Sprache übersetzt", sagte sie.
Stamirowska und Kollegen berichteten, das Modell habe mit zwei Versuchen fast drei von 10 Aufgaben im öffentlichen Evaluationssatz ARC-AGI-1 gelöst. Es bewältigte einige Aufgaben zum Drehen und Verschieben von Formen, hatte aber Mühe mit Farbwechseln und einigen Regelkombinationen, und bei schwierigeren Ordnungs- und Verschachtelungsaufgaben war es besser, nachdem es ein Beispiel ähnlicher Schwierigkeit gesehen hatte.
Die Kostenbehauptung ist bemerkenswert. Die Forscher schätzen, dass eine Aufgabenanfrage etwa $0,00070 kostet, rund ein Elftel dessen, was GPT-5.6 Luna im selben Benchmark verbraucht, wobei Science News anmerkt, dass die beiden Kosten unterschiedlich berechnet wurden. Die Reaktion von Forschern außerhalb war zurückhaltend. Yuntian Deng von der University of Waterloo nannte es ein interessantes Effizienzergebnis, sagte aber, es zeige nicht, dass die zugrunde liegende Architektur besser sei als andere Ansätze, und merkte an, ohne ausgeschriebenes Denken sei das Modell schwerer zu prüfen. Jonas Geiping vom ELLIS Institute Tübingen und dem Max-Planck-Institut für Intelligente Systeme sagte, das Modell sei gezielt für Aufgaben im ARC-Stil gebaut, was den direkten Vergleich mit Allzwecksystemen erschwere, doch nannte er den Ansatz sauber und merkte an, er könne Testaufgaben ohne erneutes Training bewältigen.
Auslieferung vor Verständnis
Imbues Bouncer, ein am 8. April 2026 veröffentlichter Filter für den Twitter-Feed, zeigt, wie der Einsatz in der Praxis aussieht. Das Werkzeug klassifiziert Beiträge mit einem Open-Source-Modell, das der Blogbeitrag Gemma 4 26.000.000.000-A4B nennt und das groß genug sei, um Kontext zu verstehen, aber klein genug, um mit dem Scrolltempo mitzuhalten. Imbue betreibt das Modell derzeit im eigenen Rechenzentrum und arbeitet daran, es direkt auf Laptops und Telefonen laufen zu lassen; Bouncer ist als Chrome-Erweiterung, Firefox-Add-on und iPhone-App verfügbar, Unterstützung für Reddit, LinkedIn und Safari ist zugesagt.
Das Muster über diese Projekte hinweg ist gleich. Fähigkeit und Verbreitung bewegen sich schneller als die Evaluation. Apple lieferte Gewichte mit einem offenen Hinweis auf ungenaue oder voreingenommene Ausgaben. Google lieferte Retrieval und Function Calling, damit Modelle auf Anwendungsdaten handeln können. SlimLM benchmarkte Dokumentaufgaben auf echter Hardware. Mudgals Papier fand, dass das billigste Konfidenzsignal unter 3.000.000.000 Parametern nicht funktioniert und ein teureres schon. BDH-CQ legt nahe, dass ein Teil des Denkens ohne Sprache ablaufen kann, während Forscher warnen, unausgesprochenes Denken sei schwerer zu prüfen.
Quellen
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Can AI reason without words? A small model puts the idea to the testEN
- 06Show HN: Control your X/Twitter feed using a small on-device LLMEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.