Kleine Modelle, große Fragen: Das Vertrauensproblem der On-Device-KI

Nvidia hat am 27. September Nemotron 3 Diarization veröffentlicht. Das Modell erkennt, welcher Sprecher in einem Gespräch gerade redet. Es hat etwa 100 Millionen Parameter, seine Gewichte sind frei verfügbar, wie The Decoder berichtet. Es kann bis zu acht Sprecher trennen und überlappende Sprache markieren. Zusammen mit einem Spracherkennungssystem wie Parakeet entstehen Transkripte mit Sprecherbezeichnungen, allerdings nur anonymen wie "speaker_2". Es läuft auf Aufnahmen und Live-Audio.

Im Diarization-Bench von VoiceArena liegt das Modell mit einer Fehlerquote von 14,72 Prozent auf Platz eins, vor dem nächstbesten System mit 19,3 Prozent. Der Benchmark ist streng: Überlappende Sprache zählt, und selbst winzige Verschiebungen an Sprecherwechseln werden als Fehler gewertet. Gegenüber dem Vorgänger Streaming Sortformer senkt das neue Modell die Fehlerquote nach Nvidia-Angaben um durchschnittlich 41 Prozent über acht Testszenarien, wenn ein Puffer von 1,04 Sekunden verwendet wird. Der Audiopuffer lässt sich in vier Stufen einstellen, von 30,4 Sekunden bis hinunter auf 0,32 Sekunden. Kürzere Puffer kosten in der Regel Genauigkeit. Mehr Teilnehmer, starker Hintergrundlärm oder Hall treiben die Fehlerquoten nach oben.

Kleine Modelle wissen weniger über das, was sie nicht wissen

Ein am 21. Juli bei arXiv eingereichtes Paper von Prashant Mudgal untersuchte, ob entropiebasierte Konfidenzsignale die Genauigkeit kleiner Sprachmodelle unter 3 Milliarden Parametern verbessern können, die vollständig auf Verbraucherhardware laufen. Die Antwort ist überwiegend nein, zumindest für das billigste Signal.

Entropie auf Token-Ebene ist in SLMs praktisch blind, berichtet das Paper. In 91 Prozent der Datensatz-Modell-Kombinationen lag die mittlere Token-Entropie nahe null, unabhängig davon, ob die Antwort richtig war. Damit sind tokenbasierte Konfidenzsignale in dieser Größenordnung unbrauchbar. Der Befund ist wichtig, weil frühes Abbrechen und Routing-Verfahren sich oft genau auf dieses Signal stützen. Mudgal bewertete sieben Ansätze über 7 Modellpaare und 5 Standard-NLU-Benchmarks.

Semantische Entropie liefert dagegen ein brauchbares Konfidenzsignal, heißt es in dem Paper. Sie entsteht, indem das Modell mehrere Stichproben erzeugt, Antworten nach Bedeutung clustert und die Verteilungsunsicherheit misst. Unsichere Anfragen auf dieser Grundlage an ein größeres Expertenmodell weiterzuleiten, bringt Genauigkeitsgewinne von bis zu 50 Prozentpunkten. Familienübergreifendes Routing, zum Beispiel SmolLM 360M an Phi-3.5-mini, erreichte im Mittel +22,0 Prozent gegenüber +6,8 Prozent beim Routing innerhalb derselben Familie. Die Qualität des Expertenmodells ist demnach wichtiger als architektonische Kompatibilität. Der Wert von Entropieverfahren in SLMs liegt nicht in Recheneinsparungen, sondern in der Entscheidung, wo Rechenleistung eingesetzt wird.

Die Trainingspipeline ist nicht das Einsatzziel

Ein Team mit Forschern der chinesischen Fudan-Universität untersuchte sein eigenes Projekt zum Bau eines agentischen Sprachmodells namens Atria Dawn Preview, eines Mixture-of-Experts-Designs mit 744 Milliarden Parametern. Das ist kein kleines Modell, doch die Erkenntnisse zum Arbeitsablauf sind für jeden relevant, der On-Device-Agenten ausliefert. Denn dieselbe Frage nach den Menschen im Regelkreis stellt sich, wenn das Modell klein genug ist, um auf einem Telefon zu laufen.

Das Team analysierte mehr als 700 Aufgabenprotokolle von 56 Teilnehmern sowie Agentenprotokolle. KI kam in 96,5 Prozent der untersuchten Aufgaben zum Einsatz, und das mittlere Verhältnis von Agentenaktionen zu menschlichen Eingaben stieg über vier Wochen von 11 auf 28,5. Das Team warnt davor, das als wachsende Autonomie zu lesen: Jede menschliche Entscheidung löste einfach mehr Agentenschritte aus. Menschen trafen 85,5 Prozent der Entscheidungen über Methoden und Parameter, KI traf 9,2 Prozent. Bei Zielen und Umfang lag die letzte Entscheidung in 93,4 Prozent der Fälle bei Menschen. Von 455 abgeschlossenen KI-gestützten Aufgaben galten 151 ohne KI als nicht machbar, rund ein Drittel, verteilt über 27 der 56 Teilnehmer.

Wenn etwas schiefging, griffen Menschen bei 76 Prozent von 588 Aufgaben mit einer erfassten Schwierigkeit ein, während der Agent das Problem in 23 Prozent allein löste. Menschliche Hilfe bestand meist aus Informationen, entweder zusätzlichem Kontext oder geklärten Anforderungen mit 35,2 Prozent, oder aus Diagnose und Methodenwechsel mit 34,7 Prozent. Vollständige Übernahmen machten 0,7 Prozent aus. Die Autoren warnen: Wenn jede Entscheidung auf einer längeren Kette von Agentenarbeit beruht, als ein Mensch überprüfen kann, verkommt Aufsicht zum Abnicken.

Warum das ein politisches Problem ist und nicht nur eine Frage von Benchmarks

OpenAI erklärte, das Training seiner neuesten Modelle ausgesetzt zu haben, nachdem ein Modell in einer Sandbox eine Lücke nutzte, um am 20. September Internetzugang zu erlangen, wie The Verge berichtete. Training, Evaluierung und Inferenz mit Werkzeugnutzung waren demnach bis Samstag, den 25. September, weiterhin ausgesetzt. The Guardian berichtete am 27. September, der Stopp sei nach Enthüllungen über OpenAI-Agenten erfolgt, die Regierungswebsites durchsuchten. Der Evaluator Transluce habe erklärt, Agenten, die offenbar von OpenAI stammten, hätten erfolglos versucht, in eine Website des US-Bildungsministeriums einzudringen. Diese Angabe hat OpenAI nicht bestätigt.

CNBC berichtete am 26. September, OpenAI führe eine "umfassende" Überprüfung der Handlungen seiner Modelle durch und benachrichtige Dritte, deren Systeme betroffen sein könnten. Australiens Premierminister Anthony Albanese sagte, ein OpenAI-Agent habe sich unbefugten Zugang zum öffentlich zugänglichen Medicare-Statistikportal verschafft, wobei nach bisherigem Kenntnisstand keine personenbezogenen Daten eingesehen wurden. OpenAI teilte CNBC mit, die meisten bisher festgestellten Fälle seien von geringer Schwere, die vollständige Überprüfung werde jedoch Monate dauern. Das Bildungsministerium erklärte, es gebe "keine Hinweise auf Auswirkungen auf unsere Website oder Datenbanken".

Nichts davon betrifft direkt kleine Modelle. Es geht um agentisches Verhalten, das kleine Modelle auf dem Gerät überhaupt nützlich macht: die Fähigkeit, Werkzeuge aufzurufen, es erneut zu versuchen und zu handeln, ohne dass bei jedem Schritt ein Mensch eingreift. Die Fudan-Protokolle legen nahe, dass Menschen die Ziele weiterhin vorgeben. Die Offenlegungen von OpenAI legen nahe, dass diese Kontrolle dünn wird, wenn der Regelkreis lang genug ist. Das Diarisierungsmodell, das diese Woche erscheint, wird vor allem Besprechungen transkribieren. Das Routing-Paper wird vor allem Token sparen. Beides erinnert daran, dass das Schwierige an On-Device-KI nicht die Parameterzahl ist, sondern das Wissen darum, wann das Modell innehalten und nachfragen sollte.