Kleine Sprachmodelle wandern aufs Gerät, die Forschung hinkt hinterher
Apples OpenELM-Familie reicht von 270.000.000 bis 3.000.000.000 Parametern, Googles Gemma 3 1B läuft mit 529MB. Ein Paper von 2026 findet jedoch, dass Token-Konfidenzsignale in 91% der Datensatz-Modell-Kombinationen nahe null liegen.

Kleine Sprachmodelle mit weniger als 3.000.000.000 Parametern laufen auf einem Telefon statt in einem Rechenzentrum. In rund zwei Jahren sind sie von der Forschungskuriosität zum ausgelieferten Produkt geworden. Das Versprechen ist einfach: Das Modell bleibt lokal, die Serverkosten sinken, und die Nutzerdaten bleiben auf eigener Hardware. Die Belege sind gemischter, als das Marketing nahelegt.
Apples Beitrag ist der klarste Ausgangspunkt. Am 24. April 2024 berichtete Ars Technica, das Unternehmen habe acht Modelle unter dem Namen OpenELM, kurz für Open-source Efficient Language Models, auf Hugging Face unter einer Apple Sample Code License veröffentlicht. Ars Technica merkte an, die Lizenz enthalte Einschränkungen, die nicht zur üblichen Definition von Open Source passen dürften, obwohl der Quellcode verfügbar ist. Die Modelle reichen von 270.000.000 bis 3.000.000.000 Parametern, in vier vortrainierten und vier instruktionsoptimierten Varianten, mit einem maximalen Kontextfenster von 2.048 Token. Apples Whitepaper nennt eine „layer-wise scaling strategy“, die 2,36 Prozent Genauigkeitsgewinn gegenüber Allen AIs OLMo 1B brachte, bei halb so vielen Vortrainings-Token.
Ars Technica ordnete das ein: Metas Llama-3-Familie endete damals bei 70.000.000.000 Parametern, eine Version mit 400.000.000.000 war in Entwicklung, und OpenAIs GPT-3 von 2020 kam mit 175.000.000.000. Die Parameterzahl ist ein grober Maßstab, kein Urteil.
Was die Benchmark-Papers tatsächlich messen
SlimLM, am 15. November 2024 auf arXiv veröffentlicht, nahm einen engeren Weg: Dokumentenassistenz. Die Autoren, Thang M. Pham und vier Mitautoren, testeten Modelle von 125.000.000 bis 7.000.000.000 Parametern auf einem Samsung Galaxy S24. Sie trainierten sie auf SlimPajama-627.000.000.000 vor und stimmten sie auf einen selbst gebauten Datensatz namens DocAssist ab, für Zusammenfassung, Fragebeantwortung und Vorschlagsaufgaben. Das Abstract beansprucht vergleichbare oder bessere Leistung als bestehende kleine Modelle und beschreibt eine Android-Anwendung als Referenz für den Einsatz. Das ist ein nützlicher Datenpunkt, weil es Hardware, Aufgabe und Modellgrößen zusammen nennt. Die meisten On-Device-Behauptungen tun das nicht.
Googles AI-Edge-Team ging breiter vor. In einem Entwicklerblogbeitrag vom 20. Mai 2025 kündigten Mark Sherwood, Matthew Chan, Marissa Ikonomidis und Milen Ferev Unterstützung für mehr als ein Dutzend Modelle an, darunter Gemma 3 und Gemma 3n, gehostet in einer neuen LiteRT-Hugging-Face-Community. Gemma 3 1B ist 529MB groß und schafft auf der mobilen GPU bis zu 2.585 Token pro Sekunde im Pre-Fill. Laut Google verarbeitet es damit eine Seite Inhalt in unter einer Sekunde. Gemma 3n, in Varianten mit 2.000.000.000 und 4.000.000.000 Parametern, gilt als Gemmas erstes multimodales On-Device-Sprachmodell und unterstützt Text, Bild, Video und Audio, wobei Text und Bild zuerst verfügbar sind. Der Beitrag stellt außerdem Bibliotheken für On-Device-RAG und Function Calling vor, beide zum Start auf Android verfügbar.
Dann kommt die skeptische Ebene. Ein Paper mit dem Titel „Do small language models know what they don't know?“ wurde am 21. Juli 2026 von Prashant Mudgal auf arXiv eingereicht. Es bewertet sieben Ansätze für entropiebasierte Konfidenz über 7 Modellpaare und 5 NLU-Benchmarks. Der Kernbefund ist deutlich: Token-Entropie ist in kleinen Modellen praktisch blind und liegt in 91% der Datensatz-Modell-Kombinationen nahe null, egal ob die Antwort stimmt. Semantische Entropie, berechnet durch Sampling und Clustern der Antworten nach Bedeutung, liefert ein brauchbares Signal. Wer unsichere Anfragen an ein größeres Expertenmodell weiterleitet, gewinnt bis zu 50 Prozentpunkte Genauigkeit. Routing über Familiengrenzen bringt im Mittel +22,0%, innerhalb einer Familie +6,8%.
Schlussfolgern ohne laufenden Kommentar
Science News berichtete am 22. September 2026 über BDH-CQ, ein kleines experimentelles System, das am 10. August auf arXiv eingereicht wurde und einige Denkaufgaben löst, ohne Zwischenschritte auszuschreiben. Die Komplexitätsforscherin Zuzanna Stamirowska, CEO des KI-Unternehmens Pathway, sagte Science News: „Sobald die Anfrage ankommt, schreibt das Modell sein Denken gar nicht erst in Worten aus.“ Das Modell löste mit zwei Versuchen fast drei von 10 Aufgaben im öffentlichen Evaluationsset ARC-AGI-1. Stamirowska und Kollegen schätzen die Kosten pro Aufgabenanfrage auf etwa 0,00070 Dollar, rund ein Elftel von GPT-5.6 Luna auf demselben Benchmark. Science News merkt jedoch an, dass die beiden Kosten unterschiedlich berechnet wurden und die Studie nicht begutachtet ist.
Nicht alle sind überzeugt. Der Informatiker Yuntian Deng von der University of Waterloo sagte Science News, das Ergebnis sei „ein interessantes Effizienzergebnis“, zeige aber nicht, dass die Architektur anderen Ansätzen überlegen sei. Ohne ausgeschriebenes Denken lasse sich das Modell schwerer prüfen. Jonas Geiping vom ELLIS Institute Tübingen und vom Max-Planck-Institut für Intelligente Systeme nannte den Ansatz „nett“, sagte aber, BDH-CQ sei gezielt für Probleme im ARC-Stil gebaut. Das erschwere den direkten Vergleich mit Allzwecksystemen.
Der Einsatz läuft den Papers bereits davon. Imbues Bouncer, ein am 8. April 2026 veröffentlichter Filter für Twitter-Feeds, nutzt ein Open-Source-Modell, das die Firma Gemma 4 26.000.000.000-A4B nennt, zur Klassifikation. Vorerst liefert Imbue es aus dem eigenen Rechenzentrum aus. Der Ingenieur Millan Philipose schreibt, das Team arbeite daran, es direkt auf Laptops und Telefonen laufen zu lassen. Zwischen diesem Anspruch und einem 529MB-Modell auf einem Handy liegt die Lücke, an der sich die meisten der nächsten Behauptungen messen lassen müssen.
Quellen
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Can AI reason without words? A small model puts the idea to the testEN
- 06Show HN: Control your X/Twitter feed using a small on-device LLMEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.