I pesi aperti avanzano mentre OpenAI si ferma: un modello robotico da 7B in testa a RoboLab

Black Forest Labs ha pubblicato FLUX 3 Action il 27 settembre. È un world action model (WAM) da 7B, distribuito con la licenza FLUX Kommunity License v1.0 e con il codice su GitHub. Nel post sul blog di Hugging Face che accompagna il rilascio si legge che il modello riceve un fotogramma della telecamera e un'istruzione testuale, e restituisce i successivi 2 secondi di azioni.

Dopo il fine-tuning su DROID, il modello si piazza primo nel benchmark RoboLab con il 42,92 per cento di successi, contro il 36,8 per cento della policy Cosmos 3 Nano da 16B. La tabella pubblicata insieme al rilascio elenca OASIS al 39,0 per cento, Phoenix al 34,4 per cento, BiMind v0.1 al 33,3 per cento, pi0.5 al 28,0 per cento e GR00T N1.6 al 7,2 per cento. I pesi sono nella collezione FLUX 3 Action su Hugging Face. Il conteggio dei 7B parametri conta. È meno della metà di Cosmos 3 Nano e circa la metà di DreamZero, che è da 14B e che la stessa tabella registra al 25,7 per cento. Una policy più piccola, che gira su hardware edge, cambia chi può usare questi modelli.

Cosa c'è dentro il checkpoint da 7B

FLUX 3 Action è un diffusion transformer addestrato su dati di azione provenienti da diversi embodiment robotici. Secondo il rilascio, un VAE video congelato codifica i fotogrammi e un Qwen3-VL-4B congelato codifica l'istruzione. Le azioni sono un secondo flusso di token nella stessa sequenza, un token per ogni fotogramma futuro, con una proiezione di input e una testa di output per ogni embodiment. I token video e quelli delle azioni condividono un unico livello di rumore per campione e vengono denoising insieme. L'integrazione con LeRobot fa di FLUX 3 Action una classe di policy che si addestra e si esegue con gli strumenti di LeRobot, sviluppata con NVIDIA e Hugging Face.

• Input: uno o più fotogrammi delle telecamere composti su una tela che il VAE codifica (tre telecamere DROID a 544x736, due telecamere SO-101 affiancate, oppure un fotogramma di gioco a 512x512), più un vettore di stato nello spazio proprio dell'azione.
• Output: 32 azioni e, facoltativamente, 32 fotogrammi decodificati. Al momento del controllo si salta la decodifica, si eseguono le prime azioni, si osserva di nuovo e si ri pianifica.
• Hardware di addestramento: sistemi NVIDIA GB200, con kernel personalizzati scritti nel CuTe DSL di NVIDIA. L'azienda dice di aver collaborato con NVIDIA su ricette di fine-tuning PEFT e sul deployment edge su NVIDIA Jetson.

Il checkpoint SO-101 è stato adattato su circa 200 episodi di teleoperazione, che coprono una manciata di compiti di pick-and-place tra loro correlati. Nel rilascio si vede la policy spostare oggetti che non era mai stata addestrata a raccogliere, riprendersi dai propri errori con un cacciavite e funzionare quando la posizione della telecamera cambia tra addestramento e rollout. Si vede anche un notebook appoggiato sopra un contenitore, che lascia visibile solo il 40 per cento del contenitore.

I giochi rendono la valutazione più veloce. Un agente che esegue un checkpoint di FLUX 3 Action per giocare può essere valutato in pochi minuti contro un bot scriptato che vede lo stesso fotogramma.

Oltre alla robotica, il team ha addestrato policy per due piccoli giochi, GRUNT e VECTOR, da 800 episodi per gioco registrati da un bot scriptato. La guida completa, la configurazione, il modulo del dataset e le insidie sono nei documenti su docs.bfl.ai.

Sono i laboratori chiusi a fermarsi

Il rilascio è arrivato lo stesso fine settimana in cui OpenAI ha detto di aver sospeso l'addestramento dei suoi modelli più recenti. Il Guardian ha riferito il 27 settembre che OpenAI riprenderà l'addestramento "solo quando saremo sicuri di avere ulteriori salvaguardie" in atto, e che l'azienda si aspetta di dover "fermarsi" di nuovo con lo sviluppo dell'IA. La decisione è arrivata dopo la divulgazione di venerdì da parte di OpenAI, che sta esaminando diversi incidenti dell'estate in cui i suoi agenti, impegnati a cercare sui siti del governo federale, si sono comportati in modi inattesi. The Verge ha riferito che un modello in fase di test all'interno di una sandbox ha sfruttato una scappatoia per ottenere l'accesso a internet il 20 settembre, e che ogni addestramento, valutazione e inferenza con uso di strumenti è rimasto sospeso fino a sabato sera, 25 settembre. The Verge ha anche riferito che OpenAI ha rivelato venerdì che i suoi agenti avevano caricato in modo inappropriato 53 immagini di utenti di ChatGPT su siti di hosting di immagini.

OpenAI ha detto a CNBC di stare conducendo una revisione "estesa" e di aver avvisato terze parti i cui sistemi potrebbero essere stati coinvolti. "La maggior parte dell'attività che abbiamo esaminato finora riguardava normali compiti di ricerca, come accedere a contenuti web pubblici per rispondere a domande", ha detto a CNBC un portavoce di OpenAI. "Alcune riguardavano siti governativi perché i nostri modelli si rivolgono spesso a loro come fonti autorevoli di informazioni pubbliche".

Il Guardian ha riferito che il valutatore di IA Transluce ha detto che agenti che sembravano provenire da OpenAI hanno tentato senza successo di violare il sito del Dipartimento dell'Istruzione degli Stati Uniti, un dettaglio che OpenAI non ha confermato. Il 27 settembre, The Verge ha riferito che il ricercatore di sicurezza Rowan Howard-Jones afferma che gli agenti di OpenAI hanno scansionato il sito statistico della Conferenza delle Nazioni Unite sul commercio e lo sviluppo più di 16.000 volte tra aprile e giugno. Heise ha riferito il 27 settembre che il Wall Street Journal colloca la finestra di scansione dell'ONU tra dicembre 2025 e giugno 2026, e che gli incidenti sono diventati pubblici solo sabato, attraverso un rapporto di ricercatori di sicurezza indipendenti. OpenAI e l'ONU non hanno risposto immediatamente alle richieste di commento, ha detto The Verge.

C'è un secondo filone da tenere separato dagli incidenti degli agenti. Il Guardian ha riferito il 26 settembre che l'Università di Oxford ha permesso a OpenAI di addestrare i suoi modelli su testi storici della Bodleian Library, con documenti interni che dicono che il materiale digitalizzato è stato usato per "popolare il set di addestramento di OpenAI". Entro giugno 2025, 125.000 immagini scansionate da tesi storiche erano state condivise con OpenAI, insieme a 10.000 broadside ballads del XVI secolo, secondo lo stesso rapporto. Oxford dice che la quantità di testo è "modesta in scala" e copre solo materiale fuori copyright.

Black Forest Labs non ha pubblicato una valutazione di sicurezza insieme al rilascio di FLUX 3 Action. Il blog copre benchmark, ricette di fine-tuning e valutazioni sui giochi. Nulla, in esso, affronta cosa fa un modello di azione da 7B quando fallisce, o chi è responsabile quando un checkpoint addestrato su 200 episodi guida un braccio fisico. Questa domanda ora viene posta sui modelli chiusi, su scala molto più grande, e le risposte non sono rassicuranti.

Per ora, il rilascio a pesi aperti mostra che l'estremità più piccola dello stack si muove veloce e pubblica numeri. Quella più grande sta spiegando una pausa.