Fragile Entscheidungen: Wie leicht kippt die richtige Wahl eines Modells

Entscheidungsmodelle bilden Text auf eine Wahrscheinlichkeitsverteilung über eine endliche Menge von Optionen ab. Sie steuern immer häufiger reale Vorgänge: Sie leiten Meldungen weiter, wählen Werkzeuge aus, lösen Aktionen aus. Die Arbeit „JevOut“ fragt, was mit einer solchen Entscheidung geschieht, wenn dem Eingabetext ein kurzer Zusatz beigegeben wird, der natürlich zum Kontext passt und die richtige Antwort nicht verändert.

Kontext gegen Antwort

Die Autoren wählten eine einfache Versuchsanordnung. Für jede anfangs korrekte Aufgabe legten sie eine falsche Zieloption fest. Dann optimierten sie Zusätze zum Kontext so, dass sie flüssig blieben und zugleich die Wahl in Richtung dieser Option verschoben. Quelle, Frage, Antwortmenge und richtige Antwort blieben unverändert. Von 508 anfangs korrekten Entscheidungen des Modells Jev ließen sich 312 umlenken, also 61,4 Prozent. In 229 Fällen wies das Modell der festgelegten falschen Option eine Wahrscheinlichkeit von mindestens 0,7 zu. Tests an drei weiteren Entscheidungssystemen ergaben eine Quote erfolgreicher Umlenkungen von 64,9 bis 73,2 Prozent. Das Fazit der Autoren ist scharf: Wenn diese Modelle Sprache unmittelbar in Entscheidungen übersetzen, sollten ihre Wahrscheinlichkeiten nicht als verlässliche Entscheidungsschnittstelle gelten.

Ob eine Begründung überhaupt etwas bewirkt

Das zweite Projekt untersucht eine noch grundlegendere Situation. Ein Modell lehnt einen Kandidaten ab und nennt dabei einen Fakt, der im Profil nicht stand, zum Beispiel einen fehlenden Regisseur oder ein fehlendes Sterbedatum. Diesen Satz lässt sich ohne jeden Richter prüfen. Man muss nur einen Satz aus dem Korpus in das Profil einsetzen, der diesen Fakt nennt, und erneut fragen. Im größten von drei Durchläufen, mit sechs offenen Modellen auf dem Datensatz 2WikiMultihopQA, verschob die Lieferung des genannten Fakts die Wahl stärker als ein in der Länge angepasster, aber unwesentlicher Zusatz. Die Odds Ratio lag bei 3,57, im Bereich von 1,54 bis 8,26, nach Holm-Korrektur auf dem Niveau 0,0210. Das Ergebnis hielt stand, nachdem jedes einzelne Modell entfernt wurde.

Der interessanteste Effekt betrifft jedoch nicht den Inhalt. Derselbe unwesentliche Zusatz verschob die Wahl stärker, wenn er beim genannten Rivalen stand, als bei der dritten Option, die das Modell nicht erwähnt hatte. Nach Holm-Korrektur lag das Niveau bei 0,0008. Ein Teil der Wirkung geht also von der Platzierung des Satzes aus, nicht von seinem Inhalt. Der Autor berichtet zugleich, dass die Validierung der Messregeln acht Mängel aufdeckte. Der schwerste davon war eine Regel zum Parsen der Wahl, die in 17,1 Prozent der entscheidbaren Antworten genau die abgelehnte Option zurückgab. Sie hätte die Zahl der überlebenden Kontraste von vier auf sechs erhöht.

Linearität und Wiederholbarkeit

Zwei weitere Arbeiten betreffen Eigenschaften der Modelle selbst. Das Team von Pawel Tichonow zeigt: Transformer bestehen zwar aus stark nichtlinearen Elementen, weisen aber eine grundlegende Linearität auf. Summiert man Eingaben aus verschiedenen Textströmen linear, wird die Verteilung des nächsten Tokens zur Superposition der Verteilungen der einzelnen Ströme. Die Autoren nennen das die Hypothese der Superpositionslinearität. Sie argumentieren, es handle sich um eine Eigenschaft der Architektur und nicht um einen Effekt des Trainings. Mit fortschreitendem Vortraining schwächt sich das Phänomen ab, und leichtes Finetuning kann die Linearität wiederherstellen. Daraus folgt eine interessante Anwendung: Gesteuertes Dekodieren erlaubt es, die Superposition zu entwirren und aus einem einzigen Vorwärtsdurchlauf zwei zusammenhängende Fortsetzungen zu erzeugen.

Die letzte der Arbeiten betrifft die Degeneration von Text, also die Wiederholung eines Modells. Der Autor entscheidet den Streit zwischen einer Erklärung über die Daten und einer Erklärung über das Netz nicht. Stattdessen führt er eine Messung anderer Art durch: die Struktur der Fixpunkte der Abbildung der größten Wahrscheinlichkeit in einem kurzen Fenster, bei 96 zufälligen Zwei-Token-Starts und siebzehn fertigen Modellen. Die Verhaltensklasse erwies sich in siebzehn von siebzehn Fällen als stabil, ist aber bei festgelegtem Korpus und festgelegter Skala nicht entschieden: Die einen Familien bilden Trichter, die anderen nicht. Acht von siebzehn Modellen und sieben Familien aus fünf Korpora zeigen einen Trichter. Das Fazit ist methodisch: Von Wiederholbarkeit als Eigenschaft eines konkreten Modells zu sprechen, ist verfrüht.