Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Kleine Modelle gehen an den Rand: Reika, Jeff-Code und d1 verändern lokale KI

Am 5. Oktober veröffentlichten Entwickler Reika, einen CLI-Agenten für lokale Modelle mit 8.000.000.000 bis 35.000.000.000 Parametern, sowie Jeff-Code, das mit einem Modell mit 800.000.000 Parametern Qwen 3.8-27B um 47 Prozent beschleunigt, ohne Genauigkeit zu verlieren.

KI & ModelleErklärtKatrin HoffmannVeröffentlicht: 5. Oktober 20267 Min. LesezeitQuellen 10
Kleine Modelle gehen an den Rand: Reika, Jeff-Code und d1 verändern lokale KI

Das Zentrum der KI-Inferenz verschiebt sich von Rechenzentren auf persönliche Geräte.

Dahinter steht eine neue Welle von Werkzeugen, denen Effizienz wichtiger ist als die reine Zahl der Parameter. Die jüngsten Veröffentlichungen der letzten 72 Stunden zielen darauf, kleine Sprachmodelle für komplexe Aufgaben aus der Praxis brauchbar zu machen. Reika, ein Coding-Agent als CLI, erschien am 5. Oktober und ist von Anfang an um kleine lokale Modelle herum gebaut. Laut GitHub-Repository richtet sich das Werkzeug an Modelle zwischen 8.000.000.000 und 35.000.000.000 Parametern, oft auf Q2 oder Q4 quantisiert, mit Kontextfenstern von 16.000 bis 32.000 Tokens. Die Entwickler achten im Harness sorgfältig auf den Kontext, damit kleine Modelle ihr begrenztes Fenster nicht mit wiederholten Lesezugriffen verbrauchen. Klüger macht das ein kleines Modell nicht, aber die Arbeit damit wird weniger frustrierend, weil die Aufgabe seltener still verloren geht.

Die technische Dokumentation von Reika nennt konkrete Messwerte aus internen Tests.

Bei einem Rewrite mitten im Kontext verarbeitete der Harness 8.453 Tokens Prompt neu, was 7,9 Minuten Prefill-Zeit kostete. Ein Anhang in derselben Sitzung kostete dagegen nur 25 Tokens und 3,5 Sekunden. Dieser Unterschied zeigt, wie ineffizient die übliche Kontextverwaltung bei kleineren Modellen ist. Die Entwickler maßen auch die Schleifenerkennung: Gesunde Denkrunden liegen bei 0,2 bis 0,3 an Ähnlichkeit zwischen den Runden, festgefahrene Schleifen bei 1,00. Ein produktiver Zug über 38 Runden löste den Detektor nie aus, das System kann also zwischen fruchtbarer Wiederholung und Fehlschlag unterscheiden.

Jeff-Code geht einen anderen Weg. Es kombiniert ein Entscheidungsmodell mit 800.000.000 Parametern mit Qwen 3.8-27B. Das Modell mit 800.000.000 Parametern, Jeff genannt, erledigt Routine-Schritte wie Dateien lesen oder Ordner auflisten und entscheidet darüber in jeweils etwa 0,2 Sekunden. Ist Jeff sicher, geht es selbst den nächsten Schritt. Ist es unsicher, übergibt es an das größere Qwen-Modell. Diese Arbeitsteilung lässt das System 47 Prozent schneller laufen, also 32 Prozent weniger Zeit pro Aufgabe, bei gleicher Erfolgsquote. Die Auswertung umfasste gepaarte Aufgaben, mit einer Erfolgsquote von 62,4 Prozent für Jeff-Code gegenüber 62,8 Prozent für Qwen allein. Der Unterschied war statistisch vernachlässigbar, das 95-Prozent-Intervall reichte von -2,6 bis +2,1 Punkten.

Liquid AI stellte am 5. Oktober d1 vor, ein Entscheidungsmodell, das Text und Bilder verarbeitet. Anders als traditionelle Sprachmodelle, die Tokens nacheinander erzeugen, liest d1 unstrukturierte Daten in einem einzigen Vorwärtsdurchlauf und gibt Wahrscheinlichkeiten für jede mögliche Antwort zurück. Eine Textentscheidung dauert 200 bis 300 ms, schnell genug für Echtzeitanwendungen. Das Unternehmen testete d1 gegen GPT-6.1 Sol und Claude Opus 5.5 an sechs echten Anwendungen, darunter das Filtern von Support-Tickets und die Prüfung von Leiterplatten. d1 erreichte oder übertraf GPT-6.1 Sol bei vier dieser Aufgaben und kostete dabei 19- bis 200-mal weniger. Bei jeder Aufgabe antwortete es zudem deutlich schneller.

Wie effizient diese Modelle sind, zeigt sich bei visuellen Aufgaben.

Im VisA-Datensatz sortierte d1 gute und defekte Teile mit 85 bis 97 Prozent Genauigkeit. Bemerkenswert: Für diese industrielle Prüfaufgabe wurde das Modell nie trainiert. Es verstand die Anforderungen aus einer kurzen Beschreibung, was für die Verallgemeinerbarkeit der Entscheidungsmodell-Architektur spricht. In Spielen hob die zusätzliche Bildverarbeitung d1 im Tetris von 70 auf 81 geräumte Zeilen. Bei Wordle löste das Modell 12 von 12 Spielen mit durchschnittlich 3,8 Versuchen, indem es das Brett direkt vom Screenshot las.

Interfaze AI veröffentlichte Interfaze-1-lite, ein Modell mit gemischten Architekturen für Entwickler-Workloads. Es läuft auf einer einzigen GPU mit 80 GB ohne externe Dienste. Es verbindet einen Hybrid-Attention-Decoder mit Spezialarchitekturen für Dokumentenlesen, Spracherkennung und visuelle Verankerung. Eine 95-minütige Aufnahme wird in etwa 90 Sekunden transkribiert. Das Modell versteht Dokumente mit Boxen und Konfidenzwerten für jede Zeile und jedes Wort. Es liefert strukturierte Ausgaben, die auf ein vom Nutzer vorgegebenes JSON-Schema beschränkt sind. Das Kontextfenster umfasst 131.000 Tokens, genug für lange Dokumente und komplexe Interaktionen.

Diese Entwicklungen sind keine Einzelfälle, sondern Teil eines breiteren Trends zur Verarbeitung auf dem Gerät. Der Test des iPhone 18 Pro im Guardian vom 5. Oktober stellt fest, dass der neue A20 Pro Chip etwa 27 Prozent schneller ist als der A19 Pro, mit 45 Prozent schnellerer Grafikleistung. Das Telefon kommt mit iOS 27, das eine überarbeitete Siri enthält, die auf KI-Technologien von Google setzt. Siri AI versteht Fragen deutlich besser und beantwortet sie treffender als frühere Versionen. Sie plaudert weniger und schmeichelt weniger, sie erledigt die Arbeit. Das System sieht, was auf dem Bildschirm steht, auch bei Nutzung der Kamera, und schlägt etwa Termine für den Kalender vor.

Der Wandel zu kleinen Modellen beeinflusst auch die Open-Source-Gemeinschaft.

Metagente, eine winzige Sprache für KI-Agenten, spricht MCP und A2A nativ. Der Interpreter ist eine einzelne Binärdatei in Rust, die weder Python-Umgebung noch Framework braucht. Nutzer beschreiben, wofür der Agent da ist, welche Werkzeuge er nutzen darf und was er antwortet. Den Rest erledigt der Interpreter. Dieser Ansatz senkt die Einstiegshürde für den Bau von Agenten und macht sie auch für Nicht-Programmierer zugänglich. Die Sprache unterstützt Berechtigungen pro Agent für Ordner, Umgebungsvariablen und Links, was die Sicherheit erhöht.

NASA und IBM veröffentlichten das Lunar Foundation Model, eine Veröffentlichung für Fine-Tuning und Inferenz bei lunaren Folgeaufgaben. Das Projekt enthält zwei Python-Pakete: ni_lfm für das Modell und terratorch_integration für Datamodule und Aufgaben. Das Modell unterstützt Kratererkennung, Eisprospektion und Segmentierung. Zur Veröffentlichung gehören Beispiele für die Einreichung auf Clustern mit PBS und Slurm. Das zeigt, dass kleine, spezialisierte Modelle auch in Wissenschaft und Raumfahrt Fuß fassen, wo Ressourcen oft knapp sind.

Die technischen Grundlagen dieser Modelle untersucht die akademische Forschung. Eine Studie der UC Riverside vom 23. September fand heraus, dass Konfidenz und Korrektheit in großen Sprachmodellen aus verschiedenen internen Merkmalen entstehen. Die Forscher identifizierten interne Merkmale, die getrennt mit Konfidenz und Korrektheit zusammenhängen. Sie zeigten, dass sich das Verhalten des Modells ändern lässt, wenn man einige dieser Merkmale verändert, ohne das ganze Modell neu zu trainieren. Dieser Befund stellt die Annahme infrage, die Konfidenz eines Modells sei ein verlässlicher Hinweis auf seine Genauigkeit. Er legt nahe, künftige Modelle so anzupassen, dass sie sicherer sind, wenn sie recht haben, und vorsichtiger, wenn sie wahrscheinlich falsch liegen.

Die Integration kleiner Modelle in bestehende Arbeitsabläufe wird flüssiger. Der Python Language Summit 2026 erörterte verschiedene Initiativen zur Verbesserung des Python-Ökosystems, darunter die mögliche Einführung von Rust für CPython. David Hewitt merkte an, dass die Zahl der mit "type-crash" markierten Issues über die Zeit stetig steigt. Er schlug Rust als mögliche Lösung vor und verwies auf seinen Einsatz in Android und im Linux-Kernel. Das Team schlug vor, Python-Distributoren zu bitten, in Python 3.16 optionalen Rust-Support zu testen, mit Fehlermeldungen upstream zur Behebung in Python 3.17.

Eine weitere Diskussion auf dem Summit drehte sich um Speicher-Snapshots für CPython.

Hood Chatham schlug vor, einen Snapshot des Python-Prozessspeichers nach der Initialisierung zu nutzen, um den Start zu beschleunigen. In Tests lief ein einfaches "Hello, world"-Programm etwa 4-mal schneller, wenn der Interpreter aus einem Speicher-Snapshot geladen wurde. Der Ansatz hat jedoch Sicherheitsprobleme, konkret Denial-of-Service durch Kollisionen bei Hash-Algorithmen. Der Vorschlag sieht eine Initialisierungsphase im Python-Sprachmodell vor, damit die Laufzeit Zufälligkeit sicher wieder einführen kann.

Die Landschaft für kleine Sprachmodelle entwickelt sich schnell, ständig kommen neue Werkzeuge und Architekturen. Gemeinsam ist ihnen der Fokus auf Effizienz, Spezialisierung und den Betrieb auf begrenzter Hardware. Je besser die Hardware wird und je weiter die Software-Optimierungen reichen, desto eher werden diese Modelle zum Standardbestandteil alltäglicher Datenverarbeitung, vom Smartphone bis zum wissenschaftlichen Gerät. In den nächsten Jahren dürften diese Technologien stärker in gängige Anwendungen einfließen, die Kosten senken und den Zugang erweitern.

Kommentare 0

Quellen

10
  1. 01Reika – A coding agent CLI designed around small local models firstEN
  2. 02Jeff-Code: a 0.8B model makes Qwen 3.8-27B coding 47% faster, same pass rateEN
  3. 03d1: The most capable decision model, now with visionEN
  4. 04Interfaze-1-lite: the first open-weight model for deterministic taskEN
  5. 05Apple iPhone 18 Pro review: big changes for small differencesEN
  6. 06Metagente, a tiny language for AI agents that speaks MCP and A2AEN
  7. 07NASA-IBM Lunar Foundation Model and fine-tuning codeEN
  8. 08Study: Path discovered to make AI models red-flag their doubtful answersEN
  9. 09Rust for CPython (Python Language Summit 2026)EN
  10. 10Memory Snapshots for CPython (Python Language Summit 2026)EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.