Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Kleine Sprachmodelle laufen auf dem Gerät: Apple, Google, Imbue und Cactus drängen lokale KI voran

Apple, Google und kleinere Anbieter bringen kleine Sprachmodelle auf Telefone, Laptops und Wearables. Sie setzen darauf, dass die Inferenz lokal läuft und nicht im Rechenzentrum.

KI & ModelleNachrichtKatrin HoffmannVeröffentlicht: 27. September 20265 Min. LesezeitQuellen 6
Kleine Sprachmodelle laufen auf dem Gerät: Apple, Google, Imbue und Cactus drängen lokale KI voran

Apple veröffentlichte im April 2024 acht kleine Sprachmodelle mit offenem Quellcode unter dem Namen OpenELM. Sie reichen von 270.000.000 bis 3.000.000.000 Parametern, berichtet Ars Technica. Die Modelle stehen auf Hugging Face unter einer Apple Sample Code License. Ars Technica merkte an, dass die Lizenz wegen ihrer Einschränkungen nicht der üblichen Definition von Open Source entsprechen dürfte, obwohl der Quellcode verfügbar ist.

Vier der acht Modelle sind vortrainiert, vier sind instruktionsoptimiert. Alle acht haben ein maximales Kontextfenster von 2048 Token. Die Trainingsdaten mischen RefinedWeb, eine deduplizierte Version von PILE, eine Teilmenge von RedPajama und eine Teilmenge von Dolma v1.6. Nach Apples Angaben sind das zusammen rund 1.800.000.000.000 Token.

Apples Whitepaper beansprucht für OpenELM einen Genauigkeitsvorsprung von 2,36 Prozent gegenüber OLMo 1B von Allen AI. Erreicht wurde er mit einer schichtweisen Skalierungsstrategie, und das bei halb so vielen Vortrainings-Token. Das Unternehmen veröffentlichte außerdem CoreNet, die Trainingsbibliothek, dazu reproduzierbare Trainingsrezepte, mit denen sich die Gewichte nachbilden lassen. Ars Technica nannte das für einen großen Tech-Konzern damals ungewöhnlich.

Parameterzahlen sind ein grobes Maß für Leistungsfähigkeit, und Apples Modelle liegen deutlich unter den größten Systemen. Metas Llama-3-Familie hatte 70.000.000.000 Parameter erreicht, eine Version mit 400.000.000.000 war in Arbeit. OpenAIs GPT-3 kam 2020 mit 175.000.000.000. Die Forschungsannahme lautet, dass kleine Modelle heute erreichen können, was deutlich größere vor einigen Jahren leisteten.

Google ergänzt Modalitäten, RAG und Function Calling

Googles AI-Edge-Team teilte am 20. Mai 2025 mit, die Unterstützung kleiner Sprachmodelle auf dem Gerät ausgebaut zu haben. Aus vier anfänglichen Modellen wurden mehr als ein Dutzend, darunter Gemma 3 und Gemma 3n, gehostet in einer neuen LiteRT-Community auf Hugging Face. Gemma 3n erschien als frühe Vorschau. Google bezeichnet es als erstes multimodales kleines Sprachmodell von Gemma für den Geräteeinsatz. Die Varianten mit 2.000.000.000 und 4.000.000.000 Parametern verarbeiten Text, Bilder, Video und Audio. Text und Bild waren zuerst auf Hugging Face verfügbar, Audio sollte folgen.

Google bezifferte auch die Kompressionsarbeit. Int4-Post-Training-Quantisierung verkleinert Sprachmodelle nach Firmenangaben um den Faktor 2,5 bis 4 gegenüber bf16 und senkt zugleich Latenz und Spitzenspeicher. Gemma 3 1B mit 529MB schafft auf einer mobilen GPU bis zu 2.585 Token pro Sekunde im Prefill. Google zufolge reicht das, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten.

Zwei Bibliotheken kamen mit den Modellen. Die AI Edge RAG Library, zum Start auf Android verfügbar, lässt ein Modell anwendungsspezifische Daten nutzen, ohne es zu finetunen. Google zufolge findet sie die relevantesten Stellen aus 1.000 Seiten oder 1.000 Fotos. Die Function-Calling-Bibliothek, ebenfalls zuerst für Android, lässt ein Modell entscheiden, wann es vordefinierte Funktionen aufruft. Eine Beispiel-App füllt ein medizinisches Formular aus diktierten Sätzen.

Die Reproduzierbarkeit und Transparenz großer Sprachmodelle sind entscheidend, um offene Forschung voranzubringen, die Verlässlichkeit von Ergebnissen zu sichern und Untersuchungen zu Daten- und Modellverzerrungen sowie möglichen Risiken zu ermöglichen.

Der Satz stammt aus dem Abstract von Apples OpenELM-Paper, zitiert von Ars Technica. Apple warnte zugleich, die Modelle seien auf öffentlich zugänglichen Datensätzen trainiert. Daher könnten sie Ausgaben erzeugen, die ungenau, schädlich, voreingenommen oder anstößig sind. Ars Technica berichtete, iOS 18, erwartet zur Enthüllung im Juni auf der WWDC, solle Gerüchten zufolge KI-Funktionen auf dem Gerät bringen. Apple könnte für aufwendigere Verarbeitung außerhalb des Geräts auch Google oder OpenAI engagieren.

Benchmarks auf dem Telefon und ein Filter für den Feed

Ein arXiv-Paper von November 2024, unter anderem von Thang M. Pham, stellte SlimLM vor, eine Reihe von Modellen für Dokumentenhilfe auf Mobilgeräten. Die Autoren testeten auf einem Samsung Galaxy S24. Sie suchten den Kompromiss zwischen Modellgröße von 125.000.000 bis 7.000.000.000 Parametern, Kontextlänge und Inferenzzeit. SlimLM wurde auf SlimPajama-627.000.000.000 vortrainiert und auf DocAssist feinabgestimmt, einem Datensatz der Autoren für Zusammenfassungen, Fragenbeantwortung und Vorschläge. Eine Android-App lieferten sie mit.

Imbues Bouncer setzt anders an. Veröffentlicht am 8. April 2026 und aktualisiert am 25. September 2026, filtert es einen X/Twitter-Feed anhand einer Beschreibung in Alltagssprache. Es nutzt ein Open-Source-Modell, das das Unternehmen Gemma 4 26B-A4B nennt. Imbue zufolge läuft das Modell vorerst im eigenen Rechenzentrum, während an der Ausführung direkt auf Laptop oder Telefon gearbeitet wird. Bouncer gibt es als Chrome-Erweiterung, Firefox-Add-on und iPhone-App. Unterstützung für Reddit, LinkedIn und Safari ist angekündigt.

Cactus Computes Needle 3, veröffentlicht am 18. September 2026, geht noch kleiner. Das Unternehmen beschreibt gestaffelte Modelle mit 29-121.000.000 Parametern, die CQ2-Binärdateien von 9 bis 29 MB erzeugen. Angegeben werden 400 bis 4.000 Token pro Sekunde im Decode und 1 bis 10.000 Token pro Sekunde im Prefill auf einem Raspberry Pi 5. Cactus zufolge kann das 4-Schicht-Subnetz DeepSeek V4 Flash erreichen, wenn es eine Epoche lang auf Downstream-Aufgaben abgestimmt wird.

Needle 3 zielt auf Tool-Aufrufe, strukturierte Extraktion und Text-Embeddings. Genannte Anwendungsfälle umfassen Smart Homes, Roboter, Telefone, Wearables, AR-Brillen, Autos und PCs. Jede Antwort trägt einen Konfidenzwert aus einem kalibrierten Kopf. Die Engine setzt eine Untergrenze von 0,1; darunter werden Aufrufe zurückgehalten und in ein Feld suppressed_calls geschrieben.

Ein Forschungsergebnis dämpft die Begeisterung. Ein am 21. Juli 2026 eingereichtes Paper von Prashant Mudgal fand, dass Token-Entropie in Modellen unter 3.000.000.000 Parametern praktisch blind ist. In 91 Prozent der Datensatz-Modell-Kombinationen lag die mittlere Token-Entropie nahe null, unabhängig davon, ob die Antwort stimmte. Semantische Entropie, berechnet durch mehrfaches Abtasten von Antworten und deren Clustering nach Bedeutung, lieferte ein brauchbares Signal. Unsichere Anfragen an ein größeres Expertenmodell weiterzuleiten verbesserte die Genauigkeit um bis zu 50 Prozentpunkte. Routing über Modellfamilien hinweg erreichte im Mittel +22,0 Prozent gegenüber +6,8 Prozent innerhalb einer Familie.

Das Paper benennt klar, was das für lokale Inferenz bedeutet. Der Wert von Entropie-Methoden in kleinen Modellen liegt ihm zufolge nicht in Recheneinsparungen, sondern in intelligenter Rechenzuweisung: mehr Token dort ausgeben, wo sie am meisten bringen. Vorerst stützt sich das Versprechen von KI auf dem Gerät damit auf Datenschutz, Latenz und Kosten. Die schwierigere Frage der Zuverlässigkeit bleibt offen.

Kommentare 0

Quellen

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
  6. 06Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 FlashEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.