Trillium Labs pubblica la ricerca AI rischiosa mentre OpenAI perde i suoi esperti di sicurezza
Due scienziati del settore hanno fondato Trillium Labs, un'organizzazione no-profit che pubblicherà i dettagli degli esperimenti AI ad alto rischio, compreso il miglioramento ricorsivo di sé e gli agenti, così che i ricercatori esterni possano replicarli, ha riferito WIRED.

Il lancio arriva in una settimana scomoda per i laboratori contro cui Trillium argomenta in modo implicito. Sabato David Robinson, una figura di spicco del team Safety Systems di OpenAI, ha pubblicato un saggio su The Atlantic. Ha scritto che l'azienda non sta procedendo con sufficiente cautela. Business Insider, che per primo ha dato notizia delle sue dimissioni venerdì, ha riferito che se n'era andato la settimana precedente.
I fondatori di Trillium, Nathan Lambert e Tom Zick, vogliono l'opposto di quell'assetto: una ricerca che chi sta fuori possa verificare. L'idea di fondo è che il segreto ha un costo. Se solo una manciata di persone può vedere come un modello di frontiera è stato costruito e messo a punto, sostengono, nessun altro può verificare se le affermazioni sulla sicurezza reggono. È tutta la tesi in una frase, ed è anche la parte più difficile da dimostrare. Un laboratorio che pubblica i suoi metodi invita i rivali a copiarli. Un laboratorio che tace non invita nessuno a controllare nulla. Trillium scommette che il secondo costo sia il più alto.
Per i lettori cambia il metro di giudizio. Chi compra prodotti AI, e le autorità di regolamentazione che li circondano, oggi valuta la sicurezza soprattutto dalle schede di sistema e dalle dichiarazioni delle aziende. Trillium promette esperimenti che gli scienziati esterni possono studiare e replicare. Così un'affermazione di marketing diventa qualcosa di più vicino a una tesi verificabile. Resta da capire quanto della propria ricerca l'organizzazione no-profit pubblicherà e chi la finanzia. Nessuno dei due fondatori ha detto come viene finanziata.
Lambert ha detto a WIRED che lo sviluppo chiuso è la direzione sbagliata. "Negli ultimi millenni l'umanità ha avuto il metodo scientifico nella cassetta degli attrezzi come modo per attenuare i danni e costruire futuri migliori", ha detto, secondo il resoconto di WIRED. "L'attuale traiettoria chiusa dello sviluppo dell'AI di frontiera ci fa fare un passo indietro."
I pesi aperti conquistano già utenti
L'approccio aperto non è più una posizione marginale, perché i modelli aperti hanno preso una quota ampia dell'uso reale. I modelli cinesi a pesi aperti sono passati da meno del 2% dell'uso globale alla fine del 2024 a più del 45% entro giugno di quest'anno, secondo i dati di OpenRouter citati da CBS News. Ad agosto Qwen di Alibaba aveva superato i tre miliardi di download nel mondo. I due numeri stanno insieme in modo scomodo: un balzo di oltre quaranta punti nell'uso globale in meno di due anni, e una sola famiglia di modelli che supera i tre miliardi di download pochi mesi dopo quell'indagine. Qualunque cosa concluda il dibattito sulla sicurezza, moltissime persone usano già pesi che possono scaricare e ispezionare, o usare male, senza chiedere permesso a nessuno.
Quella scala conta per l'argomento sulla sicurezza. CBS News ha riferito che Hirundo, una startup israeliana di cybersicurezza, ha scoperto che Qwen non parla delle proteste di Hong Kong del 2019 né di piazza Tiananmen del 1989. Il modello definisce Falun Gong una "setta pericolosa" e elude le domande su Winnie the Pooh. Quando CBS ha chiesto al modello dei campi di lavoro forzato per gli uiguri, ha risposto che non esistono. Alibaba non ha risposto a una richiesta di commento, ha detto l'emittente. Uber Eats ha dichiarato che le sue funzioni di ricerca e consegna sono costruite "su una base Qwen". Brian Chesky di Airbnb ha detto al LA Times che la sua azienda si affida molto al modello per il servizio clienti.
Detto in chiaro: scaricare un modello non rende trasparente il suo comportamento. Trillium scommette che i metodi pubblicati permettano ai ricercatori di cogliere quel tipo di pregiudizio incorporato, o almeno di discuterne in pubblico.
I fondatori hanno esperienza. Lambert ha lavorato all'Allen Institute for AI e a Hugging Face, tiene un blog tecnico e ha fondato American Truly Open Models, una spinta perché le aziende statunitensi rilascino più modelli aperti. Zick ha lavorato a Harvard e ha aiutato Charles Schwab a scrivere la sua politica di AI responsabile. Si sono conosciuti su Zoom durante la pandemia, da dottorandi all'UC Berkeley.
Trillium comincerà dal post-addestramento, il fine-tuning che avviene dopo la costruzione di un modello, e dal miglioramento ricorsivo di sé, in cui l'AI contribuisce alla propria ricerca. Sono entrambi settori in cui i laboratori tendono a tacere. WIRED ha notato che Xiaomi ha pubblicato in tempo reale i dettagli di un'importante sessione di addestramento e che i ricercatori di Stanford stanno pre-addestrando in aperto un modello chiamato Marin.
Dentro OpenAI, le uscite continuano
L'addio di Robinson è il dato più fresco nella discussione su chi può verificare il lavoro. Ha contribuito a sviluppare le schede di sistema che OpenAI pubblica con i suoi modelli. Nel saggio per The Atlantic ha scritto di condividere la posizione di altri dipendenti andati via di recente. Le aziende che costruiscono la tecnologia "non stanno procedendo con quasi sufficiente cautela", ha scritto. Mentre OpenAI "corre da un lancio all'altro, non raggiunge il livello di cura che ritengo necessario", ha aggiunto.
OpenAI ha replicato con una dichiarazione. Ha detto che sta "facendo in modo che i nostri modelli non diventino più capaci di quanto possiamo gestire e proteggere in sicurezza, e sospendiamo l'addestramento o tratteniamo i modelli quando dobbiamo rallentare". L'azienda ha detto di stare ampliando il lavoro con valutatori esterni. Sta anche migliorando il monitoraggio in tempo reale per cogliere prima comportamenti preoccupanti durante l'addestramento.
"Un ambiente in cui possono accadere cose come questa non è un posto dove far crescere menti artificiali che potrebbero essere più intelligenti di noi e che potrebbero non fare ciò che vogliamo."
Quella frase, dal saggio di Robinson, segue una serie di incidenti sulla sicurezza che OpenAI ha ammesso. Giovedì l'azienda ha anche detto di essersi "separata" da tre ricercatori per violazioni della sua politica sulla condivisione di informazioni sensibili. Johannes Heidecke, il suo responsabile della sicurezza, se n'era andato all'inizio di quest'anno. Alla conferenza per sviluppatori di OpenAI di martedì, l'amministratore delegato Sam Altman ha detto che sicurezza e allineamento devono restare davanti alle capacità dei modelli. Leggi la sequenza in ordine e lo schema è difficile da non vedere. Un responsabile della sicurezza andato via, tre ricercatori fuori per la condivisione di informazioni, un veterano delle schede di sistema dimissionario, tutto in un solo anno. La risposta pubblica dell'azienda sono più valutatori esterni e un monitoraggio migliore.
C'è un controargomento, e non è marginale. I critici del rallentamento avvertono che se la Silicon Valley frena, i rivali internazionali e gli attori malevoli guadagnano terreno. Quella tensione sta sotto ogni proposta di valutazione. Le persone meglio posizionate per verificare un modello sono spesso quelle con il minor accesso ad esso.
Le valutazioni diventano più difficili da credere
Il lavoro accademico indica lo stesso vuoto da un'altra angolazione. Un benchmark chiamato ScholarCatalyst è stato costruito con le etichette di 184 autori principali di 207 articoli recenti di informatica. Ha verificato se i sistemi AI riescono a trovare l'articolo precedente che ha dato forma a un progetto. La ricerca agentica non ha ottenuto risultati migliori del semplice recupero tramite embedding, 0,42 contro 0,48 di Recall@20, anche se l'agente chiamava quello stesso retriever come strumento. Un agente costruito su Claude Fable 5.1, che potrebbe aver visto gli articoli finiti durante l'addestramento, ha raggiunto solo 0,51.
Gli autori descrivono il compito come un passo verso agenti scientifici capaci di prendere un'idea abbozzata e indicare la ricerca che serve. Il risultato è anche un avvertimento sulla progettazione delle valutazioni: i modelli possono sembrare capaci in un compito quando quello che fanno è ricordare.
Il reparto di ricerca di Meta ha fatto un'ammissione simile. Ha pubblicato sei articoli prodotti con matematici usando i suoi modelli Muse Spark in Thinking Mode attraverso la normale interfaccia di chat meta.ai, cinque dei quali rispondevano a questioni prima aperte. Meta ha detto che, dopo aver finito il lavoro, ha scoperto che altri team avevano annunciato in modo indipendente soluzioni ad alcuni degli stessi problemi. Ha detto che gli articoli indicano quali passaggi sono stati scritti dai ricercatori e quali dall'AI. Una strategia di dimostrazione, per una soglia di adattamento a ellissoidi gaussiani, è stata sviluppata con il modello sotto la guida di un matematico e verificata da altri quattro.
Pubblicare il metodo, il merito e il lavoro concorrente è esattamente la norma che Trillium dice di voler portare su larga scala. Se un'organizzazione no-profit possa farlo per agenti e miglioramento di sé, dove i rischi sono meno ordinati di una dimostrazione di geometria, è la questione aperta.
L'umore accademico non aiuta. Un recente scambio sulla mailing list TYPES, riassunto da un ricercatore di linguaggi di programmazione il 2 ottobre, descriveva un morale del settore in forte calo nell'autunno del 2026, con uno stress paragonabile a quello della pandemia. Lo stesso ricercatore sosteneva che gli strumenti rendono trattabili problemi più grandi. Entrambe le letture portano nella stessa direzione: il lavoro di verificare l'AI si sta spostando fuori dai laboratori, che ai laboratori piaccia o no.
Fonti
8- 01These AI Experts Want to Do High-Stakes Research Out in the OpenEN
- 02OpenAI safety leader David Robinson resignsEN
- 03Some topics are off limits inside popular Chinese-made free AI, researchers findEN
- 04Solving Open Research Problems TogetherEN
- 05ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
- 06PL research is dead, the age of PL exploration is just beginningEN
- 07How to apply to AI safety fellowships (and beyond)EN
- 08Memory safety for Postgres extensions in C/C++EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.