Kleine Modelle laufen auf dem Gerät: Aleph Alpha liefert Kolibri, llama.cpp ergänzt Entscheidungsmodelle
Aleph Alpha hat am 3. Oktober Kolibri veröffentlicht, ein offenes englisch-deutsches Modell mit 78.000.000.000 Parametern insgesamt und nur 3.000.000.000 aktiven, herunterladbar unter Apache 2.0. Am selben Tag ergänzte llama.cpp die Unterstützung für Entscheidungsmodelle, die eine Anfrage in einem einzigen Vorwärtsdurchlauf beantworten.

Aleph Alpha veröffentlichte Kolibri am 3. Oktober, dem Tag der Deutschen Einheit, und stellte die Veröffentlichung eher auf Souveränität als auf reine Größe ab. Das Unternehmen beschreibt es als englisch-deutschen Mixture-of-Experts-Transformer mit 78.000.000.000 Parametern insgesamt und 3.000.000.000 aktiven, mit Kontextlängen bis zu 1.000.000 Token. Die vollständigen Gewichte liegen auf Hugging Face unter Apache 2.0.
Das Argument sind die Betriebskosten. Aleph Alpha sagt, das Modell liege bei Qualität gegen Serving-Kosten sowohl im Englischen als auch im Deutschen auf der Pareto-Grenze, und es erreiche Modelle mit bis zu viermal so vielen aktiven Parametern, wobei Nemotron 3 Super genannt wird. Kunden können es laut Unternehmen vor Ort betreiben, ohne interne Daten an Inferenzdienste Dritter zu schicken. Für Käufer in regulierten Branchen zählt das. Öffentliche Verwaltung, Industrie und Luft- und Raumfahrt nennt die Ankündigung als Zielmärkte. Aleph Alpha hat Kolibri nach eigenen Angaben auf Deutsch, Schlussfolgern, Mathematik und agentisches Verhalten spezialisiert. Einen unabhängigen Benchmark veröffentlicht das Unternehmen nicht. Die zitierten Vergleiche sind eigene interne Auswertungen, und kein Dritter hat die Pareto-Aussage bestätigt.
Kein externes Labor hat davon bisher etwas geprüft.
llama.cpp macht aus Entscheidungsmodellen einen Server-Endpunkt
Ebenfalls am 3. Oktober veröffentlichte das Team von ggml-org einen Hugging-Face-Beitrag, der einen neuen Endpunkt /v1/systemone in llama.cpp beschreibt. Man schickt einen Zustand (Text, JSON oder einen Screenshot) plus typisierte Fragen, und das Modell liefert für jede Option eine Wahrscheinlichkeit in einem Vorwärtsdurchlauf. Der Beitrag sagt, die API folge dem System-One-Format, das mit TypeSafes Modell Jev eingeführt wurde, sodass bestehende Clients nur eine neue Basis-URL brauchen.
Bei der Modellliste wird der Gerätebezug konkret. Julia-1 antwortet in 3 ms auf einer NVIDIA RTX PRO 6000. Laya braucht 5 ms. Kev-4B und lev sind 4.000.000.000-Parameter-Modelle mit 12 ms und 36 ms. OpenJev hat 27.000.000.000 Parameter und verarbeitet Bilder; Clef hat 27.000.000.000 Parameter und läuft unter Apache 2.0. Die Geschwindigkeiten sind Mediane für eine einzelne Frage auf dieser Karte, auf einem Laptop wird es also langsamer.
Entscheidungsmodelle verändern, was ein kleines Modell tut. Statt Text zu erzeugen, bewerten sie die Optionen, die man ihnen gibt: eine Anfrage weiterleiten, Inhalte moderieren, prüfen, ob ein Schritt eines Agenten geklappt hat, oder die nächste Aktion wählen. Es werden keine Ausgabe-Token erzeugt, deshalb liegen die Latenzen im Millisekundenbereich statt in Sekunden.
Der Decision Index der Community zeigt, wie sie im Vergleich abschneiden.
Der Beitrag verweist Leser für den Vergleich zwischen Modellen auf diesen Index und kündigt weitere Entscheidungsmodelle an. Der Endpunkt unterstützt drei Fragetypen: choice, score und noul, eine Ja/Nein-Frage, die die Wahrscheinlichkeit für Ja zurückgibt. Eingaben können bei bildfähigen Modellen wie OpenJev auch Bilder enthalten.
Auch die Guardrails werden klein
ZeroLeaks veröffentlichte am 2. Oktober Shield Small, einen Klassifikator mit 118.000.000 Parametern für die Erkennung von Prompt Injection und Jailbreaks. Er läuft lokal auf einer CPU mit 118 MB int8-ONNX-Gewichten, und die Inferenz funktioniert offline, sobald das Modell heruntergeladen ist. Die Modellkarte empfiehlt, ihn auf nicht vertrauenswürdigen Text anzuwenden, bevor ein Agent ihn liest: abgerufene Dokumente, Tool-Ergebnisse, Webseiten, Nachrichten und Tool-Beschreibungen.
Die veröffentlichten Zahlen haben einen Vorbehalt, den die Autoren selbst nennen. Shield Small plus rules v2 erreicht 84,3 % mittlere kategoriebalancierte Genauigkeit, 71,8 % Attack-Recall und eine Falsch-Positiv-Rate von 7,2 % über 35 öffentliche Datensätze. Die Karte sagt, dieser Vergleich habe die Entwicklung geprägt und sei keine Auswertung auf ungesehenen Daten. Sie warnt außerdem, das Modell könne Angriffe übersehen und harmlosen Text markieren, besonders Sicherheitsdiskussionen, die Angriffe zitieren.
Eine zweite Grenze sollte man vor dem Einsatz kennen. Eingaben über 6.206 Token werden abgeschnitten, und das Beispielskript bewertet 28 Fenster vom Anfang und vier vom Ende und gibt dabei coverage.truncated: true zurück. Ein nicht markiertes, abgeschnittenes Ergebnis darf laut Karte nicht als Freigabe für das ganze Dokument gelten. Der Score ist auch keine kalibrierte Wahrscheinlichkeit dafür, dass ein Angriff gelingt.
Am Verbraucherende ist das längst im Versand
Underdog ist die verbrauchernaheste Variante des Trends. Das Unternehmen verkauft einen persönlichen Assistenten, der auf einem Mac mit Apple Silicon läuft, mit einer Windows-Beta, und sagt, nichts verlasse die Maschine. Die Modelle heißen Woof 4B und Underdog 27B. Die Website behauptet, Underdog 27B schlage Claude Opus 4.6 Max im Artificial Analysis Intelligence Index, eine Aussage des Anbieters, die einen Index Dritter zitiert, ohne einen veröffentlichten Score zu nennen.
Der Sicherheitsaufwand ist besser überprüfbar. Underdog sagt, es habe alle 20 Anforderungen der App-Defense-Alliance-Prüfung durch Leviathan Security Group erfüllt. Google habe es genehmigt, Gmail und Kalender zu lesen, und Hacktron AI habe einen Penetrationstest der Mac-App und der Website abgeschlossen. Jane Manchun Wong wird als jemand genannt, der die Mac-App zerlegt, eine Prüfung, die läuft und nicht abgeschlossen ist.
Google zieht unterdessen die kostenlose Stufe von Gemini enger. Eine am 3. Oktober aktualisierte Support-Seite sagt, die Änderungen beginnen am 9. Oktober für Nutzer ohne KI-Abo, wenn Auto zum Standard wird und die meisten Prompts an Flash-Lite gehen, das schnellste Modell. Ist die intelligente Modellauswahl aus, laufen alle Chats über Flash-Lite. Bezahlte Stufen bekommen höhere Limits: AI Plus mit 2x Standard, AI Pro mit 4x, AI Ultra mit 5x oder 20x von AI Pro.
Zusammengelesen zeigen die beiden Schritte in entgegengesetzte Richtungen. Google drängt kostenlose Nutzer zu seinem kleinsten Cloud-Modell und rechnet alle fünf Stunden nach Rechenleistung ab. Aleph Alpha und die llama.cpp-Mitwirkenden legen die Gewichte in die Hände der Nutzer. Keines ersetzt das andere: Kolibri braucht eine GPU und einen Betreiber, Flash-Lite nur einen Browser.
Was noch fehlt
Die unabhängige Bewertung ist die Lücke. Aleph Alphas Pareto-Aussage, Underdogs Index-Behauptung und Shields Genauigkeitszahlen stützen sich alle auf Anbieter- oder selbst gewählte Testsets. Der llama.cpp-Beitrag nennt Latenzen auf einer Rechenzentrumskarte, was über einen Laptop wenig sagt. Keine dieser Veröffentlichungen bringt eine neutrale Prüfung der Qualität am kleinen Ende durch Dritte mit.
Dazu kommt die Frage, wofür kleine Modelle da sind. Aleph Alpha positioniert Kolibri für souveräne Arbeit in regulierten Branchen, ZeroLeaks positioniert Shield als Filter vor einem Agenten, und llama.cpp positioniert Entscheidungsmodelle als Router und Prüfer. Keines davon will ein allgemeiner Chatbot sein, und die Benchmarks, die über einen guten Chatbot entscheiden, messen keine dieser Aufgaben gut.
Quellen
8- 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 02New in Llama.cpp: Decision ModelsEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04Underdog private personal on-device local AI for privacy and securityEN
- 05Changes to Gemini model access and limitsEN
- 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 08A Beginner's Guide to Running AI Models LocallyEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.