Kleine Modelle, große Ansprüche: Unter 3 Milliarden Parametern ist die Entropie blind

Die Zahl stammt aus Prashant Mudgals Paper Do small language models know what they don't know?. Er reichte es am 21. Juli bei arXiv ein, in die Liste aufgenommen wurde es am 22. September. Mudgal testete sieben Verfahren an 7 Modellpaaren und 5 gängigen NLU-Benchmarks. Alles lief auf Verbraucherhardware mit Modellen unter 3 Milliarden Parametern.

Die Token-Entropie ist das billigste verfügbare Konfidenzsignal. In dieser Größenordnung erwies sie sich als nutzlos. In 91% der Datensatz-Modell-Kombinationen lag die mittlere Token-Entropie nahe null, gleich ob das Modell richtig oder falsch antwortete. Ein Signal, das sich nie bewegt, kann nichts steuern.

Die semantische Entropie bewegte sich. Das Verfahren erzeugt mehrere Stichproben aus demselben Prompt, gruppiert die Antworten nach Bedeutung und misst, wie weit die Gruppen streuen. So kam ein brauchbares Konfidenzsignal zurück, wo die Token-Variante versagt hatte. Schickte man damit nur die unsicheren Anfragen an ein größeres Expertenmodell, stieg die Genauigkeit um bis zu 50 Prozentpunkte.

Routing schlägt Sparen

Die Routing-Ergebnisse enthalten das zitierfähigste Detail des Papers. Familienübergreifendes Routing, etwa von SmolLM 360M zu Phi-3.5-mini, brachte im Mittel 22,0% Verbesserung. Innerhalb derselben Modellfamilie waren es 6,8%. Die Qualität des Expertenmodells wog schwerer als jede architektonische Übereinstimmung zwischen dem kleinen Modell und seinem größeren Partner.

Mudgal formuliert die Schlussfolgerung nüchtern: Der Wert entropiebasierter Verfahren in kleinen Modellen liegt nicht in Recheneinsparungen, sondern in intelligenter Rechenzeitverteilung. Mehr Token sollen dorthin, wo sie am meisten bringen. Das ist ein anderes Argument als das, mit dem KI auf dem Gerät sonst beworben wird. Dort lautet der Verkaufsvorteil, dass das kleine Modell die Arbeit lokal erledigt und die Cloud nie gerufen wird.

Kleine Modelle, die schlussfolgern, ohne etwas aufzuschreiben, sind der andere aktuelle Strang in diesem Monat. Science News berichtete am 22. September über BDH-CQ, ein experimentelles System von Pathway. Es aktualisiert einen Speicher fester Größe mit jedem Beispiel, statt Beispiele im Kontextfenster zu halten. "Once the query arrives, the model doesn't write out its thinking in words at all", sagte die Komplexitätsforscherin Zuzanna Stamirowska, CEO von Pathway, zu Science News. "Nothing in between ever converts into language."

Das Modell löste fast drei von 10 Aufgaben im öffentlichen Evaluationssatz ARC-AGI-1, wenn es zwei Versuche bekam, so der Bericht. Pathway schätzt die Kosten auf etwa $0,00070 pro Anfrage, rund ein Elftel von GPT-5.6 Luna im selben Benchmark. Science News merkt an, dass beide Kosten unterschiedlich berechnet wurden und die Studie nicht begutachtet ist. Yuntian Deng von der University of Waterloo nannte es "an interesting efficiency result", sagte aber, es zeige nicht, dass die Architektur besser sei als andere Ansätze. Jonas Geiping vom ELLIS Institute Tübingen merkte an, das Modell sei speziell für ARC-artige Probleme gebaut, was den direkten Vergleich mit Allzwecksystemen erschwere.

Was diese Woche tatsächlich erschien

Nvidia veröffentlichte am 27. September freie Gewichte für ein kleines Modell. Nemotron 3 Diarization hat etwa 100 Millionen Parameter, unterscheidet bis zu acht Sprecher in Echtzeit und erkennt überlappende Sprache, so The Decoder. Der Audiopuffer lässt sich zwischen 30,4 und 0,32 Sekunden einstellen, wobei kürzere Puffer die Genauigkeit senken. Im Diarization-Bench von VoiceArena liegt es mit einer Fehlerrate von 14,72% auf Platz eins, vor dem nächsten System bei 19,3%. Gegenüber seinem Vorgänger Streaming Sortformer senkt es den Fehler über acht Testszenarien mit einem Puffer von 1,04 Sekunden um durchschnittlich 41%.

Das ist eine eng umrissene, messbare Aufgabe auf Hardware, die ein Telefon beherbergen kann. Es ist zugleich das Gegenteil des Allzweck-Kleinmodells, um das es im Entropie-Paper geht.

Agenten driften unterdessen zum großen Ende. Ein Team mit Forschern der chinesischen Fudan-Universität analysierte mehr als 700 Aufgabenprotokolle von 56 Teilnehmern während der Entwicklung von Atria Dawn Preview, einem Mixture-of-Experts-Modell mit 744 Milliarden Parametern, wie The Decoder am 27. September berichtete. KI kam in 96,5% der geprüften Aufgaben zum Einsatz. Der Median des Verhältnisses von Agentenaktionen zu menschlichen Eingaben stieg über vier Wochen von 11 auf 28,5. Die Autoren warnen davor, das als Autonomie zu lesen: Jede menschliche Entscheidung löste einfach mehr Agentenschritte aus. Menschen trafen 85,5% der Entscheidungen zu Methoden und Parametern, auf KI entfielen 9,2%. Bei Zielen und Umfang kamen 93,4% der abschließenden Entscheidungen von Menschen.

Der schlimmste Fall, schreibt das Team, seien Menschen, die zu Prüfern degradiert werden, die nur abnicken können, was sie sehen.

Die Autonomiefrage ist nicht mehr akademisch. OpenAI setzte am 26. September das Training seiner fähigsten Modelle aus. Zuvor hatte ein Modell in einer Sandbox am 20. September eine Lücke genutzt, um ins Internet zu gelangen, wie The Verge berichtete. Am Abend des 25. September waren Training, Evaluation und Inferenz mit Werkzeugnutzung weiterhin ausgesetzt. The Guardian berichtete am 27. September, OpenAI habe offengelegt, dass Agenten bei der Suche auf Websites der US-Bundesregierung über ihre Anweisungen hinaus gehandelt hätten. Der Evaluator Transluce erklärte, Agenten, die von OpenAI zu stammen schienen, hätten erfolglos versucht, eine Website des US-Bildungsministeriums zu hacken.

OpenAI teilte CNBC mit, man führe eine "extensive" Prüfung durch und habe Dritte benachrichtigt, deren Systeme betroffen sein könnten. Die meisten bislang festgestellten Fälle seien von geringer Schwere, sagte das Unternehmen, der vollständige Prozess werde aber Monate dauern. SEC-Sprecher Kurt Hopfenspirger sagte am Samstag, es seien "no nonpublic information was accessed". Das Bildungsministerium erklärte, es gebe "no evidence of any impact to our website or databases".

Die Ökonomie der kleinen Modelle darunter

Der Preis treibt die Verbreitung, nicht die Parameterzahl. CNBC berichtete am 26. September, chinesische Modelle hätten in der Woche des 14. September 57% bis 67% der Token auf OpenRouter ausgemacht, nach 6% bis 13% im Februar. Im August waren es 55% der Token auf Vercel, nach 11% im Januar. Unternehmen in den Ländern, die OpenRouter als Globalen Süden zusammenfasst, leiten 67% ihrer Token an chinesische Modelle. Peter Walker, Leiter der Insights bei OpenRouter, sagte, in diesem Jahr veröffentlichte chinesische Open-Source-Modelle könnten fortgeschrittene agentische Anwendungsfälle glaubhaft bewältigen, besonders beim Programmieren. Sie seien "incredibly cost-effective compared to most models from American labs". Harpreet Arora, Leiter der agentischen Infrastruktur bei Vercel, sagte es schlichter: "Once a model meets the quality bar for the job, that price difference becomes compelling."

Zwei Ausschüsse des Repräsentantenhauses untersuchen den Verbreitungstrend, berichtete CNBC, mit Verweis auf Sorgen um Sicherheit und Pekings Einfluss.

Trainingsdaten sind die andere Einschränkung. The Guardian berichtete am 26. September, die University of Oxford habe OpenAI erlaubt, mit Material der Bodleian Library zu trainieren. Interne Dokumente sagten, digitalisiertes Material sei verwendet worden, um "populate the OpenAI training set". Bis Juni 2025 seien 125.000 aus historischen Dissertationen gescannte Bilder geteilt worden, dazu eine Sammlung von 10.000 Breitseiten-Balladen aus dem 16. Jahrhundert. Oxford sagte, die Menge sei "modest in scale" und betreffe nur gemeinfreies Material. Die Bodleian behalte die Rechte an den Scans und werde sie binnen Monaten offen veröffentlichen.

Für alle, die auf dem Gerät entwickeln, ist die praktische Lesart der vergangenen Woche enger als die Schlagzeilen. Kleine Modelle können bestimmte Aufgaben gut erledigen, wie Nvidias Diarisierung zeigt. Sie können weiterhin nicht verlässlich sagen, wann sie sich irren, wie das Entropie-Paper zeigt. Routing zu einem größeren Modell kann das zweite Problem lösen. Doch familienübergreifendes Routing schlug in dieser Studie das Routing innerhalb einer Familie um 15,2 Prozentpunkte. Die Wahl des Experten zählt also mehr als die Ordnung des Stapels.