Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Trillium Labs vuole la ricerca AI ad alto rischio allo scoperto

Nathan Lambert e Tom Zick hanno lanciato Trillium Labs il 3 ottobre. L'organizzazione no-profit pubblicherà i dettagli degli esperimenti sull'auto-miglioramento ricorsivo e sugli agenti AI, così che scienziati esterni possano replicarli, secondo WIRED.

IA e modelliSpiegatoGiulia FerrariPubblicato: 3 ottobre 20265 min di letturaFonti 9
Trillium Labs vuole la ricerca AI ad alto rischio allo scoperto

Nathan Lambert e Tom Zick hanno lanciato Trillium Labs il 3 ottobre. L'organizzazione no-profit lavorerà sull'auto-miglioramento ricorsivo e sugli agenti AI. Pubblicherà i dettagli di quegli esperimenti perché scienziati esterni possano replicarli, secondo WIRED.

Il lancio arriva nel mezzo di una discussione su quanta parte del laboratorio debba essere trasparente. Da un lato, gli sviluppatori di frontiera tengono i modelli più potenti dietro un'app o un'API. Dall'altro, un gruppo sempre più numeroso vuole che sessioni di addestramento, dati e valutazioni siano leggibili dall'esterno. Lambert, già ricercatore ad Ai2 e Hugging Face, ha detto a WIRED che lo sviluppo chiuso "ci sta facendo fare un passo indietro". Secondo lui il metodo scientifico è lo strumento migliore per ridurre i danni.

Zick ha lavorato in precedenza all'Università di Harvard. Lì ha aiutato Charles Schwab a definire politiche per un'AI responsabile. Ha detto che l'organizzazione si concentrerà inizialmente sul post-training, il fine-tuning che si fa dopo aver costruito un modello di grandi dimensioni. Il secondo ambito è l'RSI, dove l'AI contribuisce alla ricerca che produce nuovi modelli.

Perché il momento conta

La posta in gioco non è astratta. WIRED osserva che i modelli di frontiera possono automatizzare la scoperta di vulnerabilità software e sondare e violare sistemi. Le recenti ondate di attacchi informatici di alto profilo hanno acuito il controllo su chi ottiene l'accesso. La risposta di Trillium è la divulgazione invece del blocco: pubblicare abbastanza del metodo perché altri ricercatori possano verificare le affermazioni.

Non è l'unico fronte aperto. WIRED cita Xiaomi, che di recente ha pubblicato in diretta i dettagli di una grande sessione di addestramento che coinvolgeva uno dei suoi modelli. Cita anche i ricercatori di Stanford che stanno pre-addestrando allo scoperto un modello chiamato Marin. Lambert ha fondato anche American Truly Open Models, un'iniziativa che spinge le aziende statunitensi a rilasciare più modelli aperti. I due si sono conosciuti come studenti di dottorato a UC Berkeley durante la pandemia.

La scommessa del laboratorio è che una comprensione condivisa del rischio batta una cerchia ristretta di fidati. Pubblicare i dettagli degli esperimenti su agenti e auto-miglioramento può rendere i rischi più piccoli, o solo più visibili. Nessuno nell'articolo risponde a questa domanda.

I sei paper di Meta

Intanto il ramo di ricerca AI di Meta ha pubblicato il 3 ottobre un modello diverso di apertura. Ha rilasciato sei paper frutto di una collaborazione con matematici. Hanno usato Muse Spark 1.1 e 1.2 in Thinking Mode tramite la normale interfaccia chat meta.ai, senza alcun supporto di ricerca personalizzato. Cinque dei paper presentano risposte a domande di ricerca prima aperte, secondo il blog di Meta AI Research. L'azienda dice che i paper segnalano quali passaggi sono stati scritti principalmente dai ricercatori e quali dall'AI. Citano anche il lavoro precedente su cui si basano.

Dopo aver completato il nostro lavoro, abbiamo scoperto che altri gruppi fuori da Meta avevano annunciato in modo indipendente soluzioni ad alcuni degli stessi problemi usando approcci diversi.

Quella frase, dal blog, è la parte utile. Per il problema dell'adattamento dell'ellissoide gaussiano, Meta nomina tre lavori concorrenti: Misiakiewicz e Wen, de la Cerda, Potechin, Tulsiani e Xu, e Koehler e Sohn. Il blog dice che gli approcci differiscono e sono stati sviluppati in modo indipendente. L'obiettivo dichiarato di Meta non era produrre paper in serie. Era aiutare i ricercatori a sviluppare intuizioni su cui altri possano costruire.

Il problema del recupero che sta sotto

Se l'AI deve aiutare la ricerca, prima deve trovare il lavoro precedente giusto. Un benchmark pubblicato il 3 ottobre, ScholarCatalyst, misura esattamente questo. I suoi autori hanno chiesto a 184 primi autori di 207 paper recenti di informatica di indicare quali candidati avevano o avrebbero potuto far avanzare i loro progetti, ciascuno con una motivazione. Poi hanno impostato un compito di recupero limitato alla letteratura disponibile quando ogni progetto è iniziato.

I risultati sono modesti. La ricerca agentica ha ottenuto 0,42 Recall@20 contro 0,48 del recupero con semplici embedding, anche se l'agente chiamava lo stesso retriever come strumento. Un agente costruito su Claude Fable 5.1 ha raggiunto solo 0,51 R@20. Quel modello potrebbe aver visto i paper completati durante l'addestramento. Il corpus conteneva 191.000 paper.

Quel divario conta per le affermazioni sulla scoperta automatizzata. Gli autori sostengono che scegliere il paper che apre un'idea ancora abbozzata resti un'abilità umana. I sistemi attuali non la possiedono.

La vista dal banco di lavoro

Lontano dalla frontiera della ricerca, lo stesso schema compare alla scala di una scrivania. Uno sviluppatore ha raccontato il 3 ottobre di aver passato circa quattro ore a scansionare e ritoccare un rullino da 36 fotogrammi di pellicola 35mm. Poi ha affidato il lavoro a un agente. Il primo tentativo ha fatto guidare a Claude lo scanner via SANE con le direzioni X e Y del piano di scansione invertite e ha quasi rotto il meccanismo di ingranaggi. L'autore ha tenuto VueScan per l'acquisizione e ha automatizzato l'elaborazione dopo. Il rilevamento della polvere e la correzione del colore ora sono gestiti da codice e modelli. Un fotogramma iniziale vuoto serve da riferimento per pesare il colore su tutto il rullino.

Niente di tutto questo è automazione di laboratorio nel senso che usano i titoli. È però lo stesso scambio: una persona decide cosa vale la pena fare, e il software si prende la parte ripetitiva in mezzo. La storia dell'Academy of Natural Sciences si legge al contrario. La Drexel University ha annunciato martedì che il museo chiuderà il 30 settembre. È aperto dal 1828 e conserva più di 19 milioni di esemplari. L'ultimo giorno di orario regolare è domenica 27 settembre. I funzionari hanno citato presenze che non si sono mai riprese dopo la pandemia. Le collezioni restano disponibili per la ricerca.

Trillium Labs è il test più recente dell'approccio aperto, e il meno collaudato. Le sue prime pubblicazioni mostreranno se la trasparenza su agenti e auto-miglioramento produce controllo o solo altro materiale su cui discutere.

Commenti 0

Fonti

9
  1. 01AI Experts Want to Do High-Stakes Research Out in the OpenEN
  2. 02Solving Open Research Problems TogetherEN
  3. 03ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  4. 04Automating my 35mm film scanning pipelineEN
  5. 05Academy of Natural Sciences is shutting down its museum after nearly 200 yearsEN
  6. 06Some topics are off limits inside popular Chinese-made free AI, researchers findEN
  7. 07EventMaxxer – Automatically apply to events to get you in the right roomEN
  8. 08Swiss scientist soils underpants, wins silly science prizeEN
  9. 09PL research is dead, the age of PL exploration is just beginningEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.