Tencent publie le rapport technique de Hy-Nomas et un benchmark de 280 items

Les chercheurs et les laboratoires concurrents peuvent désormais tester la cohérence sur longue durée, le suivi d'instructions et le contrôle de caméra sur un jeu publié, et non plus sur une vidéo promotionnelle. Les chiffres viennent de Tencent : son évaluation humaine place Hy-Nomas au-dessus des modèles existants. Les images de comparaison avec Genie 4 n'ont pas été produites dans des conditions identiques et indépendantes.

Ce que Tencent a réellement publié

La sortie du 30 octobre est un rapport et un jeu d'évaluation, pas un lancement de produit. Tencent avait déjà annoncé Hy-Nomas. Les nouveaux documents portent sur la structure interne et la méthode d'évaluation.

Hy-Nomas est un modèle de diffusion vidéo de 8 000 000 000 de paramètres. Il accepte des instructions textuelles libres et un contrôle continu de la caméra sur plusieurs tours. Les poids sont sur Hugging Face sous Apache 2.0, pour environ 196GB. Le code est sur GitHub et une démo hébergée est disponible. La publication Hugging Face date de fin octobre.

Comment le modèle est construit

Hy-Nomas est un transformer de diffusion autorégressif par segments, pas un générateur vidéo en une seule passe. Il produit des segments de longueur variable conditionnés par un historique mis en cache. La mémoire du monde est un cache KV conservé et rafraîchi à mesure que de nouveaux segments sont générés. Les instructions ne s'appliquent que dans une fenêtre temporelle limitée. Un mécanisme d'attention fixe cette fenêtre. Environ 8 000 000 000 de paramètres se répartissent sur 54 blocs MMDiT à double flux. La taille cachée est de 2 048. Un amplificateur de prompt optionnel, Nomas-PE, réécrit la prose libre en légendes JSON structurées. La sortie arrive en 720 par 1 280 à 24 images par seconde. Un décodeur PixelUMM affiné transforme les latents DCAE-V en images en huit étapes de débruitage distillées.

Le déploiement n'a rien de léger. Une configuration par défaut demande huit GPU. Une voie sur une seule RTX 4 090 existe avec un DiT en INT8.

Le benchmark et ses limites

Hy-Nomas-Bench contient 280 items répartis en quatre pistes : texte multi-tours, navigation caméra, texte et caméra entrelacés, et mémoire spatiale. Le rapport compare Hy-Nomas à Genie 3, LingBot-World v2 et Happy Oyster lors de tests humains en paires. Hy-Nomas l'emporte sur l'interaction et le suivi de prompt, avec un taux de victoire annoncé d'environ 65% sur le suivi de prompt. Il perd en revanche face à Genie 3 sur la mémoire spatiale à long terme. Ce sont les comparaisons des auteurs sur le benchmark des auteurs.

Les modèles du monde vidéo optimisent ce qu'un spectateur acceptera. Une pile pour la conduite ou la robotique a besoin d'exactitude métrique : largeur des voies, retours lidar, piéton qui ne peut pas se téléporter sur le trottoir.

Le rival auquel il est comparé

Baidu a dévoilé Apollo World le 3 novembre. C'est un simulateur piloté par agent qui produit des observations caméra et lidar d'une ville virtuelle. Dans cette ville, le trafic réagit au véhicule testé. Wang Liang, architecte en chef du groupe conduite intelligente de Baidu, a déclaré qu'un modèle du monde ne doit pas être un peintre produisant des vidéos impressionnantes mais un examinateur de la sécurité routière. La grille « 2+3 » qui a suivi traite la causalité et l'interactivité comme des conditions préalables. Elle note l'exactitude physique, la persistance et la performance en temps réel. Baidu n'a publié ni nombre de paramètres, ni architecture, ni article, ni tableau de benchmark, ni poids, ni API, ni prix.

Un seul des deux peut être téléchargé aujourd'hui. Hy-Nomas est livré avec des poids ouverts ; Apollo World non.

Aucune des deux entreprises n'a publié de comparaison directe indépendante. Tant que quelqu'un extérieur à Tencent n'aura pas fait tourner Hy-Nomas-Bench et publié les résultats, les 280 items mesurent ce que Tencent a choisi de mesurer.