Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Kleine Modelle auf dem Gerät: 91 Prozent der Token-Entropiesignale unbrauchbar, so das Paper

In kleinen Sprachmodellen mit weniger als 3.000.000.000 Parametern sind Konfidenzsignale auf Token-Ebene praktisch blind. Das schreibt ein am 21. Juli eingereichtes arXiv-Preprint, das in 91 Prozent der Datensatz-Modell-Kombinationen eine mittlere Token-Entropie nahe null fand, egal ob die Antwort stimmte.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 28. September 20264 Min. LesezeitQuellen 6
Kleine Modelle auf dem Gerät: 91 Prozent der Token-Entropiesignale unbrauchbar, so das Paper

Prashant Mudgal testete sieben Ansätze an 7 Modellpaaren und 5 gängigen NLU-Benchmarks, alle auf Verbraucherhardware. Sein Fazit ist deutlich: Frühabbruch über Token-Entropie funktioniert in dieser Größenordnung nicht. Semantische Entropie dagegen liefert ein brauchbares Signal. Dafür erzeugt das Modell mehrere Stichproben und clustert die Antworten nach Bedeutung. Wer unsichere Anfragen an ein größeres Expertenmodell weiterreicht, gewinnt bis zu 50 Prozentpunkte Genauigkeit.

Das Routing über Modellfamilien hinweg lag im Mittel bei +22,0 Prozent, bei Paaren aus derselben Familie bei +6,8 Prozent. Als Beispiel nennen die Autoren SmolLM 360.000.000, das an Phi-3.5-mini übergibt. Der Wert von Entropieverfahren in kleinen Modellen liegt dem Paper zufolge nicht in eingesparter, sondern in verplanter Rechenleistung.

Warum Arbeit auf dem Gerät weiter wächst

Der Zeitpunkt zählt. Am 27. September veröffentlichte Nvidia Nemotron 3 Diarization, ein Modell mit rund 100.000.000 Parametern, das erkennt, wer in einem Gespräch spricht. Die Gewichte lassen sich kostenlos herunterladen, wie The Decoder berichtete. Es trennt bis zu acht Sprecher und markiert überlappende Sprache. Im Diarization-Bench von VoiceArena liegt es derzeit mit einer Fehlerrate von 14,72 Prozent vorn, vor dem nächstbesten System bei 19,3 Prozent. Zusammen mit einem Spracherkennungssystem wie Parakeet entstehen Transkripte mit anonymen Sprecherlabels. Die Fehlerraten steigen mit mehr Teilnehmern, Hintergrundgeräuschen oder Hall.

Latenz ist ein Kompromiss beim Entwurf, kein kostenloser Gewinn. Der Audiopuffer lässt sich in vier Stufen von 30,4 Sekunden bis hinunter auf 0,32 Sekunden einstellen, und kürzere Puffer senken in der Regel die Genauigkeit. Nvidia zufolge senkt das Modell die Fehlerrate über acht Testszenarien im Mittel um 41 Prozent gegenüber dem Vorgänger Streaming Sortformer bei einem Puffer von 1,04 Sekunden. Solche Zahlen zählen, wenn das Modell lokal laufen muss statt im Rechenzentrum.

Dieselbe Woche brachte ein viel größeres Projekt mit einer viel engeren Aussage zur Automatisierung. Ein Team mit Forschern der chinesischen Fudan-Universität untersuchte die eigene Arbeit an Atria Dawn Preview, einem agentischen Sprachmodell auf einer Mixture-of-Experts-Architektur mit 744.000.000.000 Parametern, wie The Decoder berichtete. Die Analyse umfasste mehr als 700 Aufgabenprotokolle von 56 Teilnehmern. In 96,5 Prozent der geprüften Aufgaben kam KI zum Einsatz, und der Median des Verhältnisses von Agentenaktionen zu menschlichen Eingaben stieg über vier Wochen von 11 auf 28,5. Die Autoren warnen davor, das als Autonomie zu lesen: Jede menschliche Entscheidung löste einfach mehr Agentenschritte aus.

Die Teilnehmer wurden gefragt, ob sie ihren Anteil an einer Aufgabe ohne KI im selben Umfang und in derselben Qualität hätten erledigen können. Von 455 abgeschlossenen KI-gestützten Aufgaben galten 151 ohne KI als nicht machbar, rund ein Drittel, verteilt auf 27 der 56 Teilnehmer.

Menschen trafen weiterhin 85,5 Prozent der Entscheidungen zu Methoden und Parametern, die KI 9,2 Prozent. Bei Zielen und Umfang entschieden Menschen in 93,4 Prozent der Fälle abschließend. Wenn über 588 Aufgaben mit dokumentierter Schwierigkeit etwas schiefging, kamen 76 Prozent durch menschliches Eingreifen voran, und 23 Prozent löste der Agent allein. Das Paper warnt: Wenn jede Entscheidung auf einer längeren Kette von Agentenarbeit beruht, als ein Mensch prüfen kann, verkommt die Aufsicht zum Abnicken.

Billige Modelle, teure Fragen

Die Kosten verschieben, welche Modelle überhaupt genutzt werden. CNBC berichtete am 26. September, dass chinesische Modelle in der Woche des 14. September 57 bis 67 Prozent der auf OpenRouter verbrauchten Tokens ausmachten, nach 6 bis 13 Prozent im Februar. Auf Vercel erreichten sie im August 55 Prozent der Tokens, nach 11 Prozent im Januar. Peter Walker, Leiter Insights bei OpenRouter, sagte CNBC, in diesem Jahr veröffentlichte chinesische Open-Source-Modelle könnten fortgeschrittene agentische Aufgaben glaubwürdig bewältigen, besonders beim Programmieren. Ende 2025 habe das nicht gegolten. Zudem seien sie günstig im Vergleich zu den meisten Modellen US-amerikanischer Labore. Harpreet Arora, Leiter der agentischen Infrastruktur bei Vercel, sagte, der Preis werde überzeugend, sobald ein Modell die Qualitätslatte für eine Aufgabe überschreite.

Washington schaut zu. Zwei Ausschüsse des US-Repräsentantenhauses untersuchen den Adoptionstrend, und CNBC merkt an, dass US-amerikanische Frontier-Modelle weiterhin insgesamt mehr Ausgaben auf sich ziehen. Daniel Remler vom Center for a New American Security sagte dem Sender, die Sorge sei, dass die Integration Länder in eine chinesische Technologiesphäre ziehe. Die von CNBC zitierten Daten sind uneinheitlich: Etwa die Hälfte der Tokens auf OpenRouter stammt von US-Unternehmen, während Unternehmen in den 82 Ländern, die OpenRouter als Global South zusammenfasst, 67 Prozent ihrer Tokens an chinesische Modelle schicken.

Kleine Modelle stehen in diesem Streit unbequem da. Sie laufen auf dem Gerät, was einige Argumente der Exportkontrolle umgeht. Ihre Zuverlässigkeit ist aber genau das, was das arXiv-Paper infrage stellt. Das Routing-Ergebnis legt nahe, dass die praktische Antwort nicht ein besseres kleines Modell allein ist, sondern ein kleines Modell, das weiß, wann es um Hilfe bitten muss.

Kommentare 0

Quellen

6
  1. 01Do small language models know what they don't know?EN
  2. 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
  3. 03AI agents do more of the work in model development, but humans still make the decisionsEN
  4. 04Chinese AI models surge in global popularity — and Washington is worriedEN
  5. 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
  6. 06OpenAI pauses training of its 'most capable models'EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.