Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Kleine Modelle gehen aufs Gerät: Echo, Phonon-2, Strata und Nimble in einer Woche

Fulcrum hat am 30. September Echo veröffentlicht, ein Schreibmodell, das laut Unternehmen weniger als 5.000 Dollar Trainingskosten verursacht hat und Frontier-Modelle bei der Stilnachahmung schlägt. Es war eine von vier Veröffentlichungen für kleine oder lokal laufende Modelle am selben Tag, neben Phonon-2, Strata und Ollamas Endpunkt für Entscheidungsmodelle.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 30. September 20268 Min. LesezeitQuellen 11
Kleine Modelle gehen aufs Gerät: Echo, Phonon-2, Strata und Nimble in einer Woche

Am 30. September hat Fulcrum Echo veröffentlicht, ein Schreibmodell, das das Unternehmen als das beste bei der Stilnachahmung beschreibt. Das Training habe weniger als 5.000 Dollar gekostet, heißt es. Echo schlage Frontier-Modelle bei Schreibaufgaben von Fiktion bis zu technischen Erklärungen, steht auf der Produktseite. Das Modell ist noch nicht offen. Fulcrum will es bald als Open Source freigeben und nimmt derzeit Kontaktanfragen für den skalierten Einsatz entgegen.

Die Behauptung stützt sich auf eine Kennzahl, die Fulcrum selbst entwickelt hat. Das Unternehmen berechnete gängige stylometrische Merkmale und erzeugte daraus einen Stil-Elo. Auf dieser Skala meldet es den aktuellen Bestwert, sowohl für Autoren aus dem Training als auch für zurückgehaltene Autoren. Für Schreibqualität gibt es keine anerkannten Standardmetriken, und das schreibt das Unternehmen auch auf der Seite. Bis jemand die Rangliste unabhängig nachrechnet, bleibt sie Fulcrums eigene Tabelle.

Den niedrigen Preis erklärt Fulcrum mit Elicitation. Das Modell enthalte bereits komprimiertes Wissen über Autorenstile, argumentiert das Unternehmen. Supervised Fine-Tuning bringe ihm vor allem bei, dieses Wissen zu aktivieren. In der SFT-Phase setzt Fulcrum Personas aus menschlichen Texten aus dem Internet an, eingebettet in synthetische Gliederungen, die ein Frontier-Modell erzeugt hat. Danach folgt ein Fine-Tuning auf den Originalbeitrag, konditioniert auf diese Gliederung. Eine zweite Phase setzt tokenweises Reinforcement Learning gegen eine Stimm-Metrik ein. So kämen die Persona-Gewinne auch in Chat-Anfragen an, und ein Denkaufwand entfalle, den Fulcrum bei Off-Policy-Menschendaten beobachtet hatte.

Ein Detail ist wichtig für alle, die KI-Detektoren als Maßstab für KI-Müll nutzen. Fulcrum schreibt, der Detektor Pangram halte Echos Texte häufiger für menschlich als die von Frontier-Modellen. Bei etwas ausführlicheren Prompts werde Echo meist als menschlich eingestuft. Das ist eine bewusste Designentscheidung von Fulcrum, kein Zufall. Sie widerspricht der verbreiteten Annahme, bessere Modelle müssten leichter zu erkennen sein.

Sprache in 164 MB

Am selben Tag veröffentlichte Fermion Research Phonon-2, ein englisches Spracherkennungsmodell mit einem Download von 164 MB. Fermion gibt im Schnitt 5,21 % Wortfehler über die sieben englischen Sets des Open ASR Leaderboard an. Jedes offene Modell mit besserem Wert sei mindestens 5,8-mal so groß. Der Encoder speichert jedes Gewicht als eine von fünf gelernten Stufen mit etwa 2,1 Bit, verpackt als Base-3-Ziffern, fünf pro Byte.

Der wichtigste Vergleich gilt dem eigenen Lehrer, einem Modell mit voller Präzision und 2,5 GB. Phonon-2 halte dessen Genauigkeit Set für Set, sagt Fermion. Bei Parlamentsreden erreiche es 100,8 % der Wortgenauigkeit des Lehrers, bei Meetings übertreffe es ihn, und das mit einem 15-mal kleineren Download. Auf einem MacBook Air werden aus einer Stunde Audio in etwa 20 Sekunden Text. Auf acht CPU-Kernen dauert dieselbe Stunde 25 Sekunden. Auf einer H100 braucht ein voller Tag Audio 13 Sekunden, in Stapeln zu 128.

Fermion ist vorsichtig mit seinen Schnellpfaden. Jeder davon werde nur ausgeliefert, weil sein Wortfehler im Rauschen des exakten Pfads bleibt. Das heißt: ein gepaarter Bootstrap über Clips mit 4.000 Resamples, dessen 95-%-Intervall die Null einschließt. Die Gewichte stehen unter CC-BY-4.0, der Lizenz von NVIDIAs Parakeet TDT 0.6B v3, von dem sie abstammen. Das Modell läuft auf Macs, Linux, Windows und NVIDIA-GPUs, und die fermion-Kommandozeile lässt sich von PyPI installieren.

Beide Veröffentlichungen zeigen dieselbe Verschiebung. Fähigkeiten, für die früher ein Rechenzentrum nötig war, werden in Dateien gepresst, die auf ein Laptop passen. Phonon-2 mit 164 MB ist kleiner als die meisten Fotobibliotheken. Echos Trainingsbudget ist kleiner als ein Monatsgehalt eines Ingenieurs. Keine der beiden Zahlen sagt, dass das Modell gut ist. Beide sagen, dass die Hürde für eine Veröffentlichung gefallen ist.

Ein 125.000.000.000-Parameter-Modell auf einem Gaming-PC, gewissermaßen

Strata, am 30. September auf GitHub veröffentlicht, geht den umgekehrten Weg. Das Projekt verkleinert das Modell nicht, es streamt es. Eine Ein-Klick-Installation für Windows und Linux lässt Qwen3.8-Flash-Next auf Consumer-Hardware laufen. Was nicht in den Arbeitsspeicher passt, liest das Projekt von der SSD. Die Dokumentation nennt ein Set mit 2,00 bpw und 257 GB, das etwa 265 GB freien Speicherplatz braucht, sowie eine Coder-Variante mit halb so vielen Experten und 191 GB.

Die gemessenen Werte sind bescheiden, und das Projekt versteckt sie nicht. Auf einer RTX 5070 mit 12 GB und 64 GB Arbeitsspeicher meldet Strata 4 bis 6 Token pro Sekunde Ausgabe. Beim Lesen eines Prompts mit 4K sind es etwa 110 Token pro Sekunde. Eine RTX 3060 mit 12 GB und 46 GB Arbeitsspeicher kommt auf 9 bis 11 Token pro Sekunde. Eine einzelne Radeon AI PRO R9700 mit 251 GB Arbeitsspeicher erreicht 21 bis 25 Token pro Sekunde. Vier dieser Karten kommen auf 74 bis 77.

Die unterstützte Hardware ist schmal und genau benannt. Die Liste umfasst NVIDIA RTX der Serien 30, 40 und 50 unter Windows und Linux, die AMD Radeon AI PRO R9700 unter Linux, AMD Ryzen AI Max Strix Halo unter Windows sowie Apple-Silicon-Macs mit 64 GB oder mehr, nur Text. Das Projekt ist kostenlos und quelloffen, braucht kein Konto und stellt auf localhost eine API im Stil von OpenAI oder Anthropic bereit. Für jemanden mit großer SSD und Geduld ist es eine echte Option. Ein Ersatz für einen gehosteten Endpunkt ist es nicht.

Der Stack für Entscheidungsmodelle konsolidiert sich

Ollama hat am 30. September Version 0.35 ausgeliefert, mit Unterstützung für Entscheidungsmodelle über einen neuen Endpunkt /v1/systemone, nach der Jev-API von TypeSafe. Man schickt Text als Zustand plus eine Menge benannter Fragen, und ein lokales Modell beantwortet alle in einer Anfrage. Ollama positioniert das für Ticket-Triage, Modell-Routing und Inhaltsmoderation. Im Pac-Man-Beispiel meldet das Unternehmen für Nimble 9B im Schnitt 91 ms pro Entscheidung auf einer M5 Max.

Nimble ist das 9.000.000.000-Parameter-Modell von Bespoke Labs, feinabgestimmt aus Qwen3.5-9B, und die Referenzimplementierung für das Format. Das Repository dokumentiert den Zeitplan. TypeSafe veröffentlichte Jev am 14. September 2.026, Bespoke brachte Nimble-v1 als Bespoke-Nimble-9B am 18. September, Ollama ergänzte Nimble-v2 am 29. September, und Nimble-v4 sowie Nimble-v4-max starteten am 13. Oktober über die API. Laut Bespoke erreichte Nimble-v4-max 68,46 in der öffentlichen Suite des Decision Index, Nimble-v4 63,70, gegenüber Jev 1.13 mit 57,96 und Perplexity Decider v1.1 mit 62,25. Es handle sich um Bespokes eigene Läufe vom 12. Oktober, die noch nicht im Dashboard des Index stehen, heißt es im Repository.

Ollamas Modellseite nennt drei Fragetypen: aus einer Liste wählen, wahr oder falsch antworten oder etwas auf einer Skala einordnen. Eine Anfrage kann bis zu 64 Fragen zum selben Text enthalten. Auswahl- und Bewertungsfragen nehmen 2 bis 26 Optionen. Die Antworten kommen mit Wahrscheinlichkeiten und einem Konfidenzwert zurück, von dem Ollama anmerkt, er sei nicht die Chance, dass die Antwort richtig ist. Dieser Hinweis wiegt mehr, als er aussieht. Eine selbstsichere falsche Antwort bleibt falsch, und die API liefert die Zahl zum Prüfen statt eines Urteils.

Der Stack hat außerdem eine Destillationsschicht. Jevstiller, ein am 30. September veröffentlichtes GitHub-Projekt, sitzt vor einem wiederholten Jev-Klassifikationsaufruf. Es lernt aus Jevs eigenen Antworten und deren Wahrscheinlichkeitsverteilungen und beantwortet dann die meisten Anfragen lokal. Auf Banking77, gegen Jevs aufgezeichnete Antworten mit Standardeinstellungen nachgespielt, beantwortete sein lokales Modell 61,7 % der zurückgehaltenen Nachrichten mit 99,40 % Übereinstimmung mit Jev, gegenüber einem Ziel von 98 %. Die Genauigkeit von Jev blieb bei 78,8 % gegenüber 78,5 % auf den Labels des Datensatzes. Eine lokale Antwort dauert auf der CPU etwa 15 ms, rund 20-mal schneller als Jevs p50 von 300 ms, so das Projekt.

Was die Woche tatsächlich zeigt

Zusammengelesen beschreiben diese Veröffentlichungen einen Markt, der sich in zwei Hälften teilt. Die eine komprimiert: Phonon-2 mit 164 MB, Echo mit unter 5.000 Dollar Training, Nimble mit 9.000.000.000 Parametern und Antworten unter 100 ms. Die andere streamt. Strata schiebt 257 GB Gewichte mit einstelligen Tokenraten pro Sekunde durch einen Gaming-PC, um ein Modell der 125.000.000.000-Klasse ohne Server laufen zu lassen.

Die Kompressionshälfte hat die besseren Belege. Fermion veröffentlicht seine Evaluationsmethodik, nennt die Lizenz, die es übernimmt, und sagt, welche Schnellpfade an Rauschäquivalenz gebunden waren. Fulcrum veröffentlicht eine selbst erfundene Metrik, was schwächer ist, aber es sagt ausdrücklich, dass keine kanonische Metrik existiert. Strata veröffentlicht seine Durchsatztabelle mit der zugehörigen Hardware, was mehr ist, als die meisten Inferenzprojekte tun.

Es fehlt die unabhängige Prüfung. Keine dieser Zahlen wurde von Dritten nachgerechnet, und mehrere stammen von den Organisationen, die das Ergebnis verkaufen. Das Open ASR Leaderboard ist ein öffentlicher Benchmark, was Phonon-2 hilft. Die Decision-Index-Werte für Nimble-v4 sind jedoch Bespokes eigene, und der Stil-Elo für Echo ist der von Fulcrum. Für eine Veröffentlichungswoche ist das normal, und trotzdem sollte man es aussprechen.

Verändert hat sich nicht, dass kleine Modelle gut geworden sind. Verändert hat sich, dass die Werkzeuge zum Betreiben, Bewerten und Destillieren jetzt auf ein Laptop passen und die Leute, die sie bauen, wöchentlich ausliefern. Der Stapel vom 30. September sind vier Veröffentlichungen an einem Tag, von vier unabhängigen Teams, keines davon ein großes Labor. Das ist die Geschichte.

Kommentare 0

Quellen

11
  1. 01Echo – A SOTA writing model for style imitationEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03Strata: Run a 125B-parameter AI model on a normal gaming PCEN
  4. 04Ollama now supports Jev-style decision modelsEN
  5. 05Ollama now supports Jev-like decision models all locally in 0.35EN
  6. 06Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  7. 07Jevstiller: Distill a repeated Jev classification task into a local modelEN
  8. 08Coop: A small language model pretrained by volunteersEN
  9. 09PSSA: A non-transformer language model written from scratch in RustEN
  10. 10AI models keep posting screenshots showing sensitive data from tech companiesEN
  11. 11TalkScribe – On-device dictation and local LLM rewrite for macOSEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.