Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Kleine Sprachmodelle wandern aufs Gerät: was die Zahlen wirklich zeigen

Kleine Sprachmodelle verlassen das Rechenzentrum und landen auf Telefonen. Die veröffentlichten Ergebnisse zeigen aber ein uneinheitliches Bild: Apples OpenELM-Reihe reicht von 270.000.000 bis 3.000.000.000 Parametern, während ein Google-Modell als 529 MB großer Download auf einer mobilen GPU bis zu 2.585 Token pro Sekunde schafft.

KI & ModelleAnalyseLena BrandtVeröffentlicht: 27. September 20264 Min. LesezeitQuellen 5
Kleine Sprachmodelle wandern aufs Gerät: was die Zahlen wirklich zeigen

Apple hat am 24. April 2024 acht kleine Sprachmodelle unter dem Sammelnamen OpenELM veröffentlicht, kurz für Open-source Efficient Language Models, wie Ars Technica berichtet. Sie reichen von 270.000.000 bis 3.000.000.000 Parametern und liegen auf Hugging Face unter einer Apple Sample Code License. Die Lizenz enthält Einschränkungen, merkte Ars Technica an. Die Veröffentlichung erfülle damit womöglich nicht die übliche Definition von Open Source, obwohl der Quellcode verfügbar ist.

Die acht Modelle gibt es in zwei Varianten: vier vortrainiert und vier instruktionsoptimiert. Das maximale Kontextfenster liegt bei 2.048 Token. Apple zufolge stammen die Trainingsdaten aus RefinedWeb, einer von Duplikaten bereinigten Version von PILE, aus einer Teilmenge von RedPajama und aus einer Teilmenge von Dolma v1.6, zusammen rund 1.800.000.000.000 Token. Im White Paper des Unternehmens heißt es, die schichtweise Skalierungsstrategie habe eine um 2,36 Prozent bessere Genauigkeit als OLMo 1B von Allen AI ergeben, bei halb so vielen Vortrainings-Token. Apple veröffentlichte außerdem CoreNet, die Trainingsbibliothek, dazu reproduzierbare Trainingsrezepte. Im Abstract des Papers steht, Reproduzierbarkeit und Transparenz großer Sprachmodelle seien wesentlich, um offene Forschung voranzubringen.

Der Größenunterschied ist offensichtlich. Ars Technica nennt als größte Veröffentlichung von Meta Llama 3 70.000.000.000 Parameter, eine Version mit 400.000.000.000 sei unterwegs, und GPT-3 von OpenAI aus dem Jahr 2020 habe 175.000.000.000 gehabt. Die Parameterzahl ist ein grobes Maß für Leistungsfähigkeit, kein Urteil.

Was Telefon-Benchmarks zeigen

SlimLM, am 15. November 2024 bei arXiv eingereicht und am 25. November überarbeitet, ist eine Reihe kleiner Sprachmodelle für Dokumentenassistenz. Die Autoren testeten auf einem Samsung Galaxy S24 und untersuchten die Abwägungen zwischen Modellgröße (125.000.000 bis 7.000.000.000 Parameter), Kontextlänge und Inferenzzeit. SlimLM wurde auf SlimPajama-627.000.000.000 vortrainiert und auf DocAssist feinabgestimmt, einem Datensatz, den die Autoren für Zusammenfassung, Fragebeantwortung und Vorschlagsaufgaben gebaut haben. Eine Android-Anwendung gehört zum Paper. Als Motivation nennen die Autoren geringere Serverkosten und besseren Datenschutz durch Verarbeitung auf dem Gerät.

Googles Beitrag, am 20. Mai 2025 im Developers Blog beschrieben, ist stärker produktförmig. Google AI Edge weitete die Unterstützung von vier anfänglichen Modellen auf über ein Dutzend aus, darunter Gemma 3 und Gemma 3n, gehostet in einer LiteRT-Community auf Hugging Face. Gemma 3 1B ist 529 MB groß und schafft beim Pre-Fill auf einer mobilen GPU bis zu 2.585 Token pro Sekunde, was Google zufolge reicht, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten. Gemma 3n, in einer frühen Vorschau, ist Gemmas erstes multimodales kleines Sprachmodell fürs Gerät, mit Varianten zu 2.000.000.000 und 4.000.000.000 Parametern, die Text-, Bild-, Video- und Audioeingaben unterstützen. Text und Bild liegen auf Hugging Face, Audio soll folgen.

Google lieferte außerdem eine RAG-Bibliothek fürs Gerät, verfügbar auf Android, und eine Bibliothek für Funktionsaufrufe auf dem Gerät, ebenfalls zuerst für Android. Das Unternehmen gibt an, Int4-Post-Training-Quantisierung könne Sprachmodelle um den Faktor 2,5 bis 4X gegenüber bf16 verkleinern und dabei Latenz und Spitzenspeicher senken.

"Sobald die Anfrage eintrifft, schreibt das Modell sein Nachdenken gar nicht in Worten aus. Nichts dazwischen wird je in Sprache übersetzt", sagte die Komplexitätsforscherin Zuzanna Stamirowska, CEO des KI-Unternehmens Pathway, gegenüber Science News.

Dieses Zitat betrifft BDH-CQ, ein experimentelles System aus einem am 10. August bei arXiv eingereichten Paper, über das Science News am 22. September berichtete. Das Modell aktualisiert mit jedem Beispiel einen Speicher fester Größe, statt Beispiele im Kontext zu halten. Stamirowska und Kollegen zufolge löste es mit zwei Versuchen fast drei von zehn Rätseln im öffentlichen ARC-AGI-1-Evaluationsset. Sie schätzen die Kosten pro Anfrage auf etwa $0,00070, rund ein Elftel von GPT-5.6 Luna im selben Benchmark. Science News merkt jedoch an, dass die beiden Kosten unterschiedlich berechnet wurden und die Studie nicht begutachtet ist.

Außerhalb der Forschungslabore werden die Behauptungen schwerer zu prüfen. Bouncer, ein Twitter-Filter, den Imbue am 8. April 2026 veröffentlichte, nutzt ein Open-Source-Modell, das der Blog Gemma 4 26B-A4B nennt, zur Klassifikation. Im Beitrag heißt es, das Modell laufe derzeit aus Imbues eigenem Rechenzentrum, man arbeite daran, es auf Laptops und Telefonen laufen zu lassen.

Skepsis ist angebracht, und ein Teil kommt von den Forschern selbst. Yuntian Deng von der University of Waterloo sagte zu Science News, BDH-CQ sei "ein interessantes Effizienzergebnis", zeige aber nicht, dass seine Architektur besser sei als andere Ansätze. Es brauche mehr Tests, um das Design von der Trainingsmethode zu trennen, sagte er, und ein Modell, das sein Denken nicht ausschreibt, sei schwerer zu prüfen. Jonas Geiping vom ELLIS Institute Tübingen und vom Max-Planck-Institut für Intelligente Systeme sagte, BDH-CQ sei eigens für Probleme im ARC-Stil gebaut, was einen direkten Vergleich mit Allzwecksystemen schwierig mache. Er nannte den Ansatz dennoch "schick".

Die offene Frage ist, wie viel davon den Kontakt mit einem ausgelieferten Produkt übersteht. Apple behandelt die Modelle nach eigener Darstellung im OpenELM-Paper als Forschungsveröffentlichungen. Googles eigener Vorbehalt ist, dass Gemma 3n eine frühe Vorschau ist. Die Lücke zwischen einer Benchmark-Tabelle und einem Telefon in der Tasche bleibt der Teil, für den niemand Zahlen veröffentlicht hat.

Kommentare 0

Quellen

5
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Can AI reason without words? A small model puts the idea to the testEN
  5. 05Show HN: Control your X/Twitter feed using a small on-device LLMEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.