Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Apples OpenELM und Googles Gemma 3n bringen kleine Modelle aufs Handy

Apple hat im April 2024 acht kleine Sprachmodelle veröffentlicht, die auf einem Smartphone laufen, das kleinste mit 270 Millionen Parametern. Google liefert Gemma 3n derzeit als frühe Vorschau für Text, Bild, Video und Audio auf dem Gerät.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 28. September 20263 Min. LesezeitQuellen 2
Apples OpenELM und Googles Gemma 3n bringen kleine Modelle aufs Handy

Das Versprechen kleiner Sprachmodelle ist einfach: Die Inferenz bleibt auf dem Gerät, der Umweg über ein Rechenzentrum entfällt, und die Daten des Nutzers bleiben, wo sie sind.

Zwei Veröffentlichungen zeigen, wie weit dieser Ansatz von der Forschungsdemo zur Werkzeugkiste für Entwickler gewandert ist. Am 24. April 2024 stellte Apple OpenELM vor, acht Modelle, die auf Hugging Face unter einer Apple Sample Code License erschienen, wie Ars Technica berichtete. Sie reichen von 270 Millionen bis 3 Milliarden Parametern und teilen sich in vier vorab trainierte und vier instruktionsoptimierte Varianten. Ars Technica merkte an, dass die Lizenz Einschränkungen enthält, die Veröffentlichung also nicht der üblichen Definition von Open Source entsprechen dürfte, obwohl der Quellcode verfügbar ist. Die Modelle arbeiten mit einem Kontextfenster von 2048 Token. Trainiert wurden sie auf RefinedWeb, einer deduplizierten Version von PILE, einem Teil von RedPajama und einem Teil von Dolma v1.6, was laut Apple zusammen rund 1.800.000.000.000 Token ergibt. Apple veröffentlichte außerdem den Code für CoreNet, die Bibliothek zum Training der Modelle, samt reproduzierbaren Trainingsrezepten.

Was die Zahlen sagen

Die Parameterzahl ist hier der grobe Maßstab. Apples kleinstes OpenELM ist rund 14 Mal kleiner als Microsofts Phi-3-mini mit 3.800.000.000 Parametern, über das Ars Technica am Tag zuvor berichtet hatte.

Metas größtes veröffentlichtes Llama-3-Modell hat 70.000.000.000 Parameter, eine Version mit 400.000.000.000 ist in Arbeit, und OpenAIs GPT-3 von 2020 kam mit 175.000.000.000. Apples White Paper beansprucht eine um 2,36 Prozent höhere Genauigkeit als Allen AIs OLMo 1B bei halb so vielen Vortrainings-Token. Das ist ein vom Hersteller gemeldeter Benchmark aus einem einzigen Vergleich, kein unabhängiger Beleg, und Ars Technica gab ihn als Aussage aus dem Paper wieder. Apple warnt zudem, dass die Modelle wegen der öffentlich beschafften Trainingsdaten ungenaue, schädliche, verzerrte oder anstößige Ausgaben erzeugen können.

"The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks."

Der Satz stammt aus dem Abstract von Apples OpenELM-Paper, zitiert von Ars Technica. Das Unternehmen schreibt, die Veröffentlichung solle die offene Forschungsgemeinschaft stärken und bereichern. In seine Verbrauchergeräte hat Apple diese Modellgeneration nicht eingebaut. Ars Technica berichtete, iOS 18, das im Juni auf der WWDC gezeigt werden sollte, bringe Gerüchten zufolge KI-Funktionen auf dem Gerät, wobei Apple für aufwendigere Verarbeitung Google oder OpenAI engagieren könnte.

Google erweitert den Werkzeugkasten

Googles AI-Edge-Team ist einen anderen Weg gegangen. In einem Beitrag vom 20. Mai 2025 teilte es mit, die Unterstützung auf dem Gerät von vier ersten Modellen auf mehr als ein Dutzend ausgebaut zu haben, darunter Gemma 3 und Gemma 3n, gehostet in einer LiteRT-Community auf Hugging Face.

Gemma 3 1B ist 529MB groß und schafft auf einer mobilen GPU bis zu 2.585 Token pro Sekunde beim Pre-Fill, was laut Google reicht, um eine Seite Inhalt in unter einer Sekunde zu verarbeiten. Gemma 3n kommt als frühe Vorschau, mit Varianten zu 2.000.000.000 und 4.000.000.000 Parametern, die Text, Bild, Video und Audio als Eingabe verarbeiten; Text und Bild liegen auf Hugging Face, Audio soll folgen. Das Unternehmen veröffentlichte außerdem eine Bibliothek für Retrieval Augmented Generation und eine für Function Calling, beide zuerst für Android verfügbar. So kann ein Modell auf dem Gerät relevanten Kontext aus tausend Seiten oder Fotos ziehen und App-Funktionen per natürlicher Sprache auslösen.

Ein Vorbehalt steht über allem. Googles eigene Quantisierungsempfehlung besagt, dass int4 die Modellgröße gegenüber bf16 um das 2,5- bis 4-Fache senken kann und dabei Latenz und Spitzenlast des Speichers reduziert. Dieser Tausch ist nicht kostenlos: Geringere Präzision kostet etwas Genauigkeit, und an dieser Schraube muss jede Bereitstellung auf dem Gerät drehen.

Kommentare 0

Quellen

2
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02On-device small language models with multimodality, RAG, and Function CallingEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.