Décisions fragiles : comment renverser un choix de modèle pourtant correct

Les modèles décisionnels projettent un texte sur une distribution de probabilité au-dessus d'un ensemble fini de choix. Ils pilotent de plus en plus d'actions réelles : orienter un signalement, sélectionner un outil, déclencher une action. Le travail « JevOut » pose une question simple. Que devient une telle décision quand on ajoute à l'entrée un texte court, qui s'insère naturellement dans le contexte sans changer la bonne réponse ?

Contexte contre réponse

Les auteurs ont choisi une stratégie expérimentale simple. Pour chaque tâche initialement correcte, ils ont fixé une option cible erronée, puis optimisé des ajouts au contexte. Ces ajouts devaient rester fluides tout en déplaçant le choix vers cette option, sans toucher à la source, à la question, à l'ensemble des réponses ni à la bonne réponse. Sur 508 décisions initialement correctes du modèle Jev, 312 ont pu être redirigées, soit 61,4 pour cent. Dans 229 cas, le modèle a attribué à l'option erronée fixée une probabilité d'au moins 0,7. Trois autres systèmes décisionnels ont été testés : le taux de redirections réussies y va de 64,9 à 73,2 pour cent. La conclusion des auteurs est tranchante. Puisque ces modèles transforment directement le langage en décisions, leurs probabilités ne devraient pas servir d'interface décisionnelle fiable.

Une justification qui agit vraiment

Un deuxième projet étudie une situation plus élémentaire encore. Le modèle rejette un candidat en donnant un fait absent du profil, par exemple l'absence de réalisateur ou de date de décès. Cette phrase est vérifiable sans aucun juge : il suffit d'insérer dans le profil une phrase du corpus qui énonce ce fait, puis de poser à nouveau la question. Dans le plus grand des trois passages, avec six modèles ouverts sur l'ensemble 2WikiMultihopQA, la fourniture du fait indiqué a déplacé le choix plus fortement qu'un ajout non pertinent de longueur comparable. Le rapport de cotes atteint 3,57, dans un intervalle de 1,54 à 8,26, avec une correction de Holm à 0,0210. Le résultat tient après retrait de n'importe quel modèle pris isolément.

Mais l'effet le plus intéressant ne porte pas sur le contenu. Le même ajout non pertinent déplaçait le choix plus fortement quand il était placé près du rival indiqué que près de la troisième option, celle que le modèle n'avait pas mentionnée. La correction de Holm donne ici 0,0008. Autrement dit, une partie de l'effet vient de l'emplacement de la phrase, pas de son contenu. L'auteur rapporte par ailleurs que la validation des règles de mesure a détecté huit défauts. Le plus grave, une règle de lecture du choix qui renvoyait l'option justement rejetée dans 17,1 pour cent des réponses décidables, aurait gonflé le nombre de contrastes survivants de quatre à six.

Linéarité et répétabilité

Deux autres travaux portent sur les propriétés des modèles eux-mêmes. L'équipe de Pawel Tikhonov montre que les transformeurs, bien que composés d'éléments fortement non linéaires, présentent une linéarité fondamentale. Quand on additionne linéairement des entrées issues de flux de texte différents, la distribution du token suivant devient une superposition des distributions des flux pris séparément. Les auteurs appellent cela l'hypothèse de linéarité par superposition. Ils soutiennent qu'il s'agit d'une propriété de l'architecture, et non d'un effet de l'entraînement : à mesure du pré-entraînement le phénomène s'affaiblit, et un léger ajustement peut rétablir la linéarité. D'où une application intéressante : le décodage dirigé permet de démêler la superposition et de générer deux continuations cohérentes à partir d'une seule passe avant.

Le dernier travail concerne la dégénérescence du texte, c'est-à-dire la répétition du modèle. L'auteur ne tranche pas le débat entre explication par les données et explication par le réseau. Il mène une mesure d'un autre type : la structure des points fixes de la carte de plus grande probabilité dans une fenêtre courte, sur 96 départs aléatoires de deux tokens et dix-sept modèles prêts à l'emploi. La classe de comportement s'est révélée stable dans dix-sept cas sur dix-sept, mais à corpus et échelle fixés elle n'est pas acquise : certaines familles forment des entonnoirs, d'autres non. Huit modèles sur dix-sept et sept familles issues de cinq corpus présentent un entonnoir. La conclusion est méthodologique : parler de la répétabilité comme d'une caractéristique d'un modèle précis est prématuré.