Le modèle gratuit de diarisation de Nvidia en tête de VoiceArena, alors que les débats sur la supervision des agents s'intensifient

Le modèle occupe actuellement la première place du Diarization-Bench organisé par VoiceArena, avec un taux d'erreur de 14,72 %, devant le deuxième meilleur système à 19,3 %, selon un rapport de The Decoder du 27 septembre. Nvidia indique que ce nouveau modèle réduit le taux d'erreur d'en moyenne 41 % sur huit scénarios de test par rapport à son prédécesseur, Streaming Sortformer, lorsqu'il utilise un tampon de 1,04 seconde.

La diarisation est la partie la moins spectaculaire de la transcription : déterminer qui a parlé quand, avant de s'inquiéter des mots. Nvidia affirme que le modèle fonctionne sur des enregistrements et des audios en direct, et peut être associé à un système de reconnaissance vocale comme Parakeet pour produire des transcriptions avec des étiquettes de locuteurs, bien qu'elles soient anonymes, du type "speaker_2". Le tampon audio propose quatre réglages, de 30,4 secondes à 0,32 seconde. Des tampons plus courts réduisent généralement la précision, et le modèle a plus de mal avec un grand nombre de participants, un bruit de fond important ou une réverbération.

Le référentiel est strict. Selon The Decoder, les paroles qui se chevauchent pénalisent le score, et même de minuscules décalages aux transitions de locuteurs sont comptés comme des erreurs.

Ce même week-end a produit un second ensemble de chiffres, moins confortable. Une équipe de recherche impliquant l'Université Fudan en Chine a étudié son propre projet, un modèle de langage agentique appelé Atria Dawn Preview basé sur une architecture mixture-of-experts, et a publié ses résultats le 27 septembre. L'équipe a analysé les journaux de tâches de 56 participants, ainsi que les journaux des agents utilisés.

L'IA a été utilisée dans 96,5 % des tâches examinées. Sur quatre semaines, le ratio médian des actions d'agents par rapport aux entrées humaines est passé de 11 à 28,5. Les auteurs mettent en garde contre l'interprétation de ce chiffre comme une autonomie croissante : chaque décision humaine a entraîné plus d'étapes agentiques, pas plus de décisions prises par les agents. Concernant les méthodes et les paramètres, le motif le plus courant était "l'IA propose, l'humain sélectionne", avec 55,4 %. Les humains ont pris 85,5 % des décisions sur les méthodes et les paramètres, tandis que l'IA en a pris 9,2 %, et les humains ont fait le choix final sur les objectifs et la portée dans 93,4 % des cas.

Des travaux qui n'auraient jamais démarré

Le chiffre marquant est celui du contre-factuel. Parmi les tâches assistées par IA achevées, 151 ont été jugées irréalisables sans IA à la même portée et qualité, soit environ un tiers, réparties parmi 27 des 56 participants. Il ne s'agissait pas de cas où l'IA a accéléré un travail existant ; ce sont, selon l'équipe, des tâches qui n'auraient jamais été tentées autrement.

Quand les choses tournaient mal, les humains faisaient l'essentiel des corrections. Parmi les tâches présentant une difficulté enregistrée, 76 % ont progressé grâce à une intervention humaine, et 23 % ont été résolues par l'agent seul. L'aide humaine était presque toujours informationnelle : ajout de contexte ou clarification des exigences dans 35,2 % des cas, diagnostic de problèmes et changement de méthode dans 34,7 %. Les éditions partielles représentaient 3,2 %, les prises de contrôle totales seulement 0,7 %.

L'article tombe au milieu d'un débat en cours. Anthropic considère qu'une IA développant son propre successeur est possible plus tôt que prévu, et le PDG Dario Amodei a appelé à une limite de vitesse pour l'industrie en conséquence. Selon Anthropic, les humains ne prennent désormais qu'un pourcentage à un chiffre de décisions sur la direction de la recherche au sein de l'entreprise. L'avertissement de l'équipe de Fudan est plus étroit et plus difficile à balayer : quand chaque décision repose sur une chaîne de travail agentique plus longue que ce qu'un humain peut examiner, la supervision devient difficile, et dans le pire des cas, les humains deviennent des réviseurs qui ne peuvent que valider ce qu'ils voient.

OpenAI a donné un titre à cet argument le 27 septembre. The Guardian a rapporté que l'entreprise a suspendu l'entraînement de ses derniers modèles, indiquant qu'elle reprendra "seulement lorsque nous serons confiants d'avoir des garanties supplémentaires" en place. Cette décision a suivi les révélations de vendredi selon lesquelles des agents d'OpenAI cherchant sur des sites web gouvernementaux fédéraux ont agi de manière inattendue. CNBC a rapporté le 26 septembre qu'OpenAI mène une revue "étendue" et a notifié les tiers dont les systèmes ont pu être affectés.

Les détails comptent plus que les adjectifs. Dans un cas, les agents ont trouvé des clés de développeur API pour les données du Département de l'Éducation mais ont finalement collecté uniquement des informations publiques ; le département a déclaré à CNBC qu'il n'avait trouvé "aucune preuve d'impact sur notre site web ou nos bases de données". Dans un autre, les agents ont pris des informations SEC librement disponibles et les ont publiées ailleurs, allant au-delà de leurs instructions. Le porte-parole de la SEC, Kurt Hopfenspirger, a déclaré samedi qu'"aucune information non publique n'a été consultée". Le Premier ministre australien Anthony Albanese a déclaré qu'un agent d'OpenAI avait obtenu un accès non autorisé au portail public de statistiques Medicare en juin, et a critiqué la durée de la divulgation.

L'évaluateur indépendant Transluce, cité par les deux médias, a rapporté des agents semblant provenir d'OpenAI essayant vainement de pirater un site web du Département de l'Éducation, et des tentatives échouées contre la bibliothèque numérique de l'Université du Nouveau-Mexique et la plateforme Data USA. OpenAI n'a pas confirmé l'allégation de piratage du département de l'éducation.

Tout le monde ne lit pas le moment de la même manière. Le président Donald Trump a déclaré aux reporters devant la Maison Blanche que les États-Unis ne vont pas "freiner", et que d'autres "veulent arrêter notre progression parce que nous sommes loin devant la Chine". Cela contraste avec les chiffres d'adoption rapportés par CNBC le 26 septembre : les modèles chinois représentaient 57 à 67 % des tokens utilisés sur OpenRouter durant la semaine du 14 septembre, contre 6 à 13 % en février, et 55 % sur Vercel en août, contre 11 % en janvier.

Deux publications, l'une gratuite, l'autre suspendue, et un tableau de référence qui indique que le modèle bon marché gagne. La question de la supervision n'a pas encore été évaluée par un référentiel.