Kleine Sprachmodelle auf dem Gerät: vom Demo zum Werkzeug
Apple veröffentlichte im April 2024 OpenELM: acht kleine Sprachmodelle mit 270.000.000 bis 3.000.000.000 Parametern, veröffentlicht auf Hugging Face. Zwei Jahre später reicht der Vorstoß auf das Gerät bis zu Multimodalität, Retrieval und Function Calling.

Der Gedanke hinter kleinen Sprachmodellen ist einfach: Die Inferenz bleibt auf dem Telefon, die Daten bleiben vom Server. Apple machte das am 24. April 2024 konkret. Ars Technica berichtete über die Veröffentlichung von OpenELM, acht quelloffen verfügbaren Modellen mit 270.000.000 bis 3.000.000.000 Parametern.
Apple lieferte sie in zwei Varianten, vier vortrainiert und vier instruktionsoptimiert, unter einer Apple Sample Code License. Ars Technica merkte an, dass die Lizenz Einschränkungen enthält. OpenELM erfüllt damit womöglich nicht die übliche Definition von Open Source, obwohl der Quellcode veröffentlicht ist. Die Modelle haben ein maximales Kontextfenster von 2048 Token. Trainiert wurden sie auf RefinedWeb, einem deduplizierten PILE sowie Teilen von RedPajama und Dolma v1.6. Laut Apple sind das zusammen rund 1.800.000.000.000 Token.
Der Größenvergleich zählt. Metas Llama-3-Familie endete damals bei 70.000.000.000 Parametern. OpenAIs GPT-3 aus dem Jahr 2020 kam mit 175.000.000.000. Apples größtes OpenELM hat 3.000.000.000.
"Die Reproduzierbarkeit und Transparenz großer Sprachmodelle sind entscheidend, um offene Forschung voranzubringen, die Verlässlichkeit von Ergebnissen zu sichern und Untersuchungen zu Daten- und Modellverzerrungen sowie möglichen Risiken zu ermöglichen."
Der Satz stammt aus dem Abstract von Apples OpenELM-Paper, zitiert von Ars Technica. Apple veröffentlichte außerdem CoreNet, die Trainingsbibliothek, dazu reproduzierbare Trainingsrezepte, mit denen sich die Gewichte nachbauen lassen. Ars Technica nannte das für einen großen Tech-Konzern damals ungewöhnlich. Derselbe Bericht nennt Apples eigenen Vorbehalt: Weil die Trainingsdaten aus öffentlichen Quellen stammen, können die Modelle ungenaue, schädliche, verzerrte oder anstößige Ausgaben erzeugen.
Die Forschung folgte der Hardware. Ein am 15. November 2024 bei arXiv eingereichtes Paper stellte SlimLM vor, eine Reihe von Modellen mit 125.000.000 bis 7.000.000.000 Parametern, abgestimmt auf Dokumentenassistenz auf mobilen Geräten. Die Autoren experimentierten auf einem Samsung Galaxy S24, um die Abwägungen zwischen Modellgröße, Kontextlänge und Inferenzzeit zu finden. Sie trainierten auf SlimPajama-627.000.000.000 vor und optimierten auf einem selbst gebauten Datensatz namens DocAssist für Zusammenfassung, Fragebeantwortung und Vorschläge. Zum Paper veröffentlichten sie eine Android-Anwendung. Ihr Ziel formulierten sie als Senkung der Serverkosten und bessere Privatsphäre durch Verarbeitung auf dem Gerät.
Google ergänzt Retrieval und Function Calling
Googles AI-Edge-Team trieb die Kategorie in einem am 20. Mai 2025 veröffentlichten Beitrag weiter. Das Unternehmen erklärte, die Unterstützung von vier anfänglichen kleinen Sprachmodellen auf dem Gerät auf mehr als ein Dutzend auszuweiten. Dazu gehören Gemma 3 und eine frühe Vorschau von Gemma 3n, gehostet in einer LiteRT-Community auf Hugging Face.
Gemma 3n gilt als erstes multimodales kleines Sprachmodell von Gemma für das Gerät. Es verarbeitet Text, Bild, Video und Audio in Varianten mit 2.000.000.000 und 4.000.000.000 Parametern. Text und Bild waren auf Hugging Face verfügbar, Audio sollte folgen. Google behauptete zudem, dass eine int4-Quantisierung nach dem Training Sprachmodelle um den Faktor 2,5 bis 4 gegenüber bf16 verkleinern kann, was Latenz und Spitzenspeicher senkt. Das Modell Gemma 3 1B mit 1.000.000.000 Parametern läuft laut Beitrag bei 529MB mit bis zu 2.585 Token pro Sekunde im Pre-Fill auf der mobilen GPU. Das reicht, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten.
Die folgenreicheren Neuerungen waren Bibliotheken, nicht Gewichte. Google erklärte, seine RAG-Bibliothek könne die relevantesten wenigen Datenstücke aus 1.000 Seiten Information oder 1.000 Fotos ziehen, um ein Modell ohne Feinabstimmung zu erden. Die Function-Calling-Bibliothek lasse ein Modell entscheiden, wann es vordefinierte Funktionen in einer App aufruft. Beide waren zum Start auf Android verfügbar, andere Plattformen sollten folgen.
Die Zuversicht bleibt die offene Frage. Ein am 21. Juli 2026 bei arXiv eingereichtes Paper prüfte, ob entropiebasierte Signale erkennen lassen, wann ein kleines Modell falsch liegt. Über sieben Modellpaare und fünf NLU-Benchmarks hinweg fand der Autor, dass Entropie auf Token-Ebene in Modellen unter 3.000.000.000 Parametern praktisch blind ist. In 91% der Kombinationen aus Datensatz und Modell lag die mittlere Token-Entropie nahe null, unabhängig davon, ob die Antwort richtig war. Semantische Entropie lieferte ein brauchbares Signal. Unsichere Anfragen an ein größeres Expertenmodell weiterzuleiten verbesserte die Genauigkeit um bis zu 50 Prozentpunkte. Routing über Modellfamilien hinweg brachte im Schnitt 22,0% Gewinn gegenüber 6,8% innerhalb einer Familie. Das deutet darauf hin, dass die Qualität des Expertenmodells mehr zählt als die architektonische Kompatibilität.
Kommerzielle Werkzeuge sind bereits im Einsatz. Cactus' Needle 3, veröffentlicht am 18. September 2026, beschreibt eine Modellfamilie mit 29 bis 121.000.000 Parametern, CQ2-Binärdateien von 9 bis 29 MB, Tool Calling, strukturierte Extraktion und Text-Embedding. Das Unternehmen behauptet, sein 4-Schichten-Subnetz erreiche DeepSeek V4 Flash, wenn es eine Epoche lang auf Downstream-Aufgaben abgestimmt wird. Auf einem Raspberry Pi 5 meldet die Firma 4.000 bis 4k Token pro Sekunde beim Decode.
Apple hat OpenELM seinerseits nicht in Verbrauchergeräte integriert. Ars Technica berichtete, iOS 18, dessen Vorstellung im Juni auf der WWDC erwartet wurde, solle Gerüchten zufolge Funktionen für KI auf dem Gerät enthalten. Der Bericht nannte auch die Möglichkeit, dass Apple Google oder OpenAI für schwerere Verarbeitung außerhalb des Geräts engagiert. Zwei Jahre später sind die kleinen Modelle real. Die Produktentscheidungen ziehen noch nach.
Quellen
5- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Needle 3 - 8-29 MB foundation model for tiny devicesEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.