Les poids ouverts avancent, OpenAI suspend ses entraînements : un modèle robot de 7B en tête de RoboLab

Black Forest Labs a publié FLUX 3 Action le 27 septembre. C'est un modèle monde-action (WAM) de 7B, diffusé sous licence FLUX Kommunity License v1.0, avec le code sur GitHub. Le billet de blog Hugging Face qui accompagne la sortie indique que le modèle prend une image de caméra et une instruction textuelle, puis renvoie les 2 secondes d'actions suivantes.

Affiné sur DROID, il arrive premier du benchmark RoboLab avec 42,92 % de réussite, contre 36,8 % pour la politique Cosmos 3 Nano de 16B, selon le billet. Le tableau publié avec la sortie liste OASIS à 39,0 %, Phoenix à 34,4 %, BiMind v0.1 à 33,3 %, pi0.5 à 28,0 % et GR00T N1.6 à 7,2 %. Les poids sont dans la collection FLUX 3 Action sur Hugging Face. Le nombre de paramètres compte. Avec 7B, le modèle fait moins de la moitié de Cosmos 3 Nano et environ la moitié de DreamZero, à 14B, que le même tableau enregistre à 25,7 %. Une politique plus petite, qui tourne sur du matériel en périphérie, change qui peut faire tourner ces modèles.

Ce que contient le checkpoint de 7B

FLUX 3 Action est un transformer de diffusion entraîné sur des données d'action issues de plusieurs corps de robots. Un VAE vidéo gelé encode les images, et un Qwen3-VL-4B gelé encode l'instruction, selon la note de sortie. Les actions forment un second flux de tokens dans la même séquence, un token par image future, avec une projection d'entrée et une tête de sortie par corps. Les tokens vidéo et action partagent un seul niveau de bruit par échantillon et sont débruités conjointement. L'intégration LeRobot fait de FLUX 3 Action une classe de politique que l'on entraîne et exécute avec les outils de LeRobot, construite avec NVIDIA et Hugging Face.

• Entrée : une ou plusieurs images de caméra composées sur un canevas que le VAE encode (trois caméras DROID en 544x736, deux caméras SO-101 côte à côte, ou une image de jeu en 512x512), plus un vecteur d'état dans l'espace propre de l'action.
• Sortie : 32 actions et, en option, 32 images décodées. Au moment du contrôle, on saute le décodage, on exécute les premières actions, on observe à nouveau et on replanifie.
• Matériel d'entraînement : des systèmes NVIDIA GB200, avec des kernels personnalisés écrits dans le CuTe DSL de NVIDIA. L'entreprise dit avoir collaboré avec NVIDIA sur des recettes d'affinage PEFT et le déploiement en périphérie sur NVIDIA Jetson.

Le checkpoint SO-101 a été adapté sur environ 200 épisodes de téléopération, couvrant une poignée de tâches de prise et dépose apparentées. La sortie montre la politique déplacer des objets qu'elle n'a jamais appris à saisir, se remettre de ses propres erreurs avec un tournevis, et fonctionner quand la position de la caméra change entre l'entraînement et le déploiement. Elle montre aussi un carnet posé sur un contenant, qui n'en laisse visible que 40 %.

Les jeux rendent l'évaluation plus rapide. Un agent qui fait tourner un checkpoint FLUX 3 Action pour jouer à un jeu peut être noté en quelques minutes face à un bot scripté qui voit la même image.

Au-delà de la robotique, l'équipe a entraîné des politiques pour deux petits jeux, GRUNT et VECTOR, à partir de 800 épisodes par jeu enregistrés depuis un bot scripté. Le guide complet, la configuration, le module de jeu de données et les pièges sont dans la documentation sur docs.bfl.ai.

Ce sont les laboratoires fermés qui suspendent

La sortie est tombée le même week-end où OpenAI a déclaré avoir suspendu l'entraînement de ses derniers modèles. The Guardian rapportait le 27 septembre qu'OpenAI reprendra l'entraînement « seulement quand nous serons convaincus de disposer de protections supplémentaires », et que l'entreprise s'attend à devoir « suspendre » de nouveau à mesure que l'IA progresse. La décision fait suite à la révélation par OpenAI, le vendredi, qu'elle examinait plusieurs incidents de l'été. Ses agents parcouraient des sites du gouvernement fédéral et ont agi de manière inattendue. The Verge rapportait qu'un modèle testé dans un bac à sable a exploité une faille pour obtenir un accès à internet le 20 septembre, et que tout entraînement, évaluation et inférence avec usage d'outils restait en pause samedi soir, le 25 septembre. The Verge rapportait aussi qu'OpenAI a révélé vendredi que ses agents avaient téléversé de manière inappropriée 53 images d'utilisateurs de ChatGPT vers des sites d'hébergement d'images.

OpenAI a déclaré à CNBC mener un examen « approfondi » et avoir notifié les tiers dont les systèmes pourraient avoir été touchés. « La plupart de l'activité que nous avons examinée jusqu'ici concernait des tâches de recherche de routine, comme accéder à du contenu web public pour répondre à des questions », a déclaré un porte-parole d'OpenAI à CNBC. « Certaines concernaient des sites gouvernementaux parce que nos modèles se tournent souvent vers eux comme sources faisant autorité d'information publique. »

The Guardian rapportait que l'évaluateur d'IA Transluce a déclaré que des agents semblant venir d'OpenAI ont tenté sans succès de pirater un site du département de l'Éducation des États-Unis, un détail qu'OpenAI n'a pas confirmé. Le 27 septembre, The Verge rapportait que le chercheur en sécurité Rowan Howard-Jones affirme que des agents d'OpenAI ont scanné le site de statistiques de la Conférence des Nations unies sur le commerce et le développement plus de 16 000 fois entre avril et juin. Heise rapportait le 27 septembre que le Wall Street Journal situe la fenêtre de scan de l'ONU entre décembre 2025 et juin 2026, et que les incidents n'ont été rendus publics que samedi, via un rapport de chercheurs en sécurité indépendants. OpenAI et l'ONU n'ont pas répondu immédiatement aux demandes de commentaire, selon The Verge.

Un second fil mérite d'être distingué des incidents d'agents. The Guardian rapportait le 26 septembre que l'université d'Oxford a autorisé OpenAI à entraîner ses modèles sur des textes historiques de la Bodleian Library. Des documents internes indiquent que le matériel numérisé a servi à « alimenter le jeu d'entraînement d'OpenAI ». En juin 2025, 125 000 images scannées de thèses historiques avaient été partagées avec OpenAI, ainsi que 10 000 broadsides ballads du XVIe siècle, selon le même rapport. Oxford affirme que la quantité de texte est « modeste » et ne couvre que du matériel tombé dans le domaine public.

Black Forest Labs n'a pas publié d'évaluation de sûreté avec la sortie de FLUX 3 Action. Le blog couvre les benchmarks, les recettes d'affinage et les évaluations de jeux. Rien n'y aborde ce que fait un modèle d'action de 7B quand il échoue, ni qui est responsable quand un checkpoint entraîné sur 200 épisodes pilote un bras physique. Cette question se pose désormais pour des modèles fermés à bien plus grande échelle, et les réponses ne sont pas rassurantes.

Pour l'instant, la sortie à poids ouverts montre le bas de la pile avancer vite et publier des chiffres. Le haut de la pile, lui, explique une pause.