Studie der UC Riverside zeigt, welche internen Merkmale Konfidenz und Genauigkeit von KI steuern

Am 23. September veröffentlichte ein Team unter Leitung von Informatikern der UC Riverside eine Studie zur Konfidenz von Modellen. Sie zeigt, dass die selbst angegebene Sicherheit eines Modells nicht zuverlässig vorhersagt, ob seine Antwort richtig ist. Das stellt eine Grundannahme des Fachs infrage: dass hohe Konfidenz mit hoher Korrektheit zusammenhängt. Die Forschenden fanden heraus, dass diese Eigenschaften aus völlig unterschiedlichen internen Mechanismen entstehen können. "Die Hauptannahme im Feld ist, dass das Modell wahrscheinlich richtig liegt, wenn es sicher ist, und eher falsch, wenn es unsicher ist", sagte Het Patel, Doktorand und Erstautor, nach Angaben der UC Riverside. "Aber wir sehen oft die Gegenbeispiele, die gut dokumentiert sind." Die Studie untersuchte zwei Modelle mit offenen Gewichten: Llama-3.1-8B von Meta mit 8.000.000.000 Parametern und Gemma-2-9B von Google mit 9.000.000.000 Parametern. Anhand von Multiple-Choice-Fragen teilte das Team die Antworten nach Genauigkeit und Konfidenz in vier Gruppen ein. Anschließend analysierten die Forschenden die interne Aktivität der Modelle mit sparse autoencoders. So ließen sich Merkmale identifizieren, die in sicheren, unsicheren, richtigen oder falschen Zuständen aktiv waren. Der Mechanismus der Diskrepanz Die Analyse ergab drei Arten von Merkmalen. Einige hingen vor allem mit Unsicherheit zusammen, andere mit falschen Antworten, und sogenannte confounded Merkmale waren mit beidem verknüpft. Unterdrückten die Forschenden Merkmale, die rein mit Unsicherheit zusammenhingen, sank die Genauigkeit des Modells deutlich. Das deutet darauf hin, dass diese Merkmale tatsächlich dazu beitragen, gute Antworten zu erzeugen. Sie sind nicht bloß Rauschen oder Absicherung. Die Unterdrückung von Merkmalen, die ausschließlich mit falschen Antworten zusammenhingen, hatte eine andere Wirkung. Diese Trennung erlaubt gezielte Eingriffe. Patel beschrieb den Vorgang als "Drehen an Stellschrauben" im Modell, um Verhaltensänderungen zu beobachten. Ziel ist es, diese Merkmale so anzupassen, dass Modelle sicherer werden, wenn sie recht haben. Sie sollen zugleich vorsichtiger sein, wenn sie wahrscheinlich falsch liegen, und das ohne das teure Verfahren, das gesamte Netzwerk neu zu trainieren. Die Arbeit passt zu einem breiteren Trend: Forschende versuchen, KI-Systeme vertrauenswürdiger zu machen. Große Sprachmodelle werden zunehmend genutzt, um Entscheidungen zu stützen und Aufgaben zu erledigen. Entwickler brauchen bessere Wege, um zu erkennen, wann eine Antwort verlässlich ist. Die von der UC Riverside geleitete Forschung weist auf eine Methode hin, mit der KI-Systeme ihre internen Konfidenzsignale an die tatsächliche Leistung angleichen können. Kontext aus aktuellen Benchmarks und Modellen Die Schwierigkeit, Tempo und Genauigkeit auszubalancieren, zeigt sich auch bei neuen Modellveröffentlichungen. Reflection AI stellte am 5. Oktober Beam vor, ein Modell mit offenen Gewichten und 501 Parametern. Das Unternehmen behauptet, Beam erreiche auf Reasoning-Benchmarks die Leistung führender chinesischer offener Modelle. Dabei verbrauche es 3 bis 4 Mal weniger Inferenz-Rechenleistung, berichtet TechCrunch. Beam ist kein Entscheidungsmodell im Sinne der UC-Riverside-Studie. Dennoch zeigt es den Druck der Branche, bei Reasoning-Aufgaben effizient zu sein, bei denen Zuverlässigkeit an erster Stelle steht. Ebenso veröffentlichte GitHub am 5. Oktober ReviewBench, einen offenen Benchmark für KI-Code-Review. Der Benchmark soll die Qualität agentischer Code-Reviews messen. Bei dieser Aufgabe können halluzinierte oder falsche Codevorschläge reale Folgen haben. ReviewBench analysiert 219 öffentliche Pull Requests in 19 Sprachen. Er soll eine strenge Bewertungsmethodik liefern. Diese Methode verfolgt, ob Änderungen an Review-Systemen zu messbaren Verbesserungen im Produktivbetrieb führen. Diese Entwicklungen zeigen den doppelten Druck auf KI-Entwickler. Sie müssen die rohe Leistungsfähigkeit verbessern und zugleich die Unsicherheit herauskonstruieren, die zu Halluzinationen führt. Die UC-Riverside-Studie liefert für den zweiten Punkt eine technische Roadmap. Sie legt nahe, dass die internen Merkmale für Zweifel und Genauigkeit trennbar und veränderbar sind. Damit könnten künftige Modelle ihre eigenen Zweifel ausdrücklich kennzeichnen. Das würde eine Transparenzschicht schaffen, die vielen kommerziellen Systemen derzeit fehlt.