Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Lo stack open source per il fine tuning degli LLM si ricostruisce intorno agli agenti, non ai modelli

Il 30 settembre Cloudflare ha reso open source Forge, una pipeline di generazione che trasforma una specifica API in SDK, CLI, documentazione e server MCP. NVIDIA ha pubblicato anche Kumo Tabular, un modello di base che predice da tabelle in un solo passaggio in avanti, senza addestramento né feature engineering. Nessuno dei due è uno strumento di fine tuning, ma entrambi mostrano dove si sta muovendo lo stack aperto.

IA e modelliAnalisiChiara RomanoPubblicato: 30 settembre 20269 min di letturaFonti 15
Lo stack open source per il fine tuning degli LLM si ricostruisce intorno agli agenti, non ai modelli

La novità più recente non è un framework di fine tuning. Il 30 settembre Cloudflare ha pubblicato Forge, una pipeline di generazione open source e modulare. Trasforma una specifica API in SDK, CLI, documentazione e server MCP. Il blog dell'azienda dice che Forge genera già l'output necessario per la CLI cf. Nei prossimi mesi alimenterà la documentazione delle API e gli SDK di Cloudflare.

La ragione dichiarata non è la comodità per gli sviluppatori. Cloudflare scrive di aver costruito Forge "perché ne avevamo bisogno noi stessi per trattare gli agenti come nostri clienti". L'API che sta dietro conta più di 3.500 operazioni. Coprono servizi scritti in Rust, Go, TypeScript e Python. È questa l'inquadratura che rivela il resto. Gli strumenti intorno a un modello, la colla che trasforma i pesi in un prodotto, sono ormai ciò che viene reso open source e standardizzato. Spesso arrivano prima dei modelli stessi.

NVIDIA ha fatto la stessa mossa lo stesso giorno, in un angolo diverso. La scheda Kumo Tabular su Hugging Face, pubblicata il 29 settembre, descrive un modello di base aperto per classificazione e regressione su dati tabellari.

Date righe etichettate, restituisce probabilità di classe o numeri in un solo passaggio in avanti. Non richiede addestramento, né messa a punto, né feature engineering. Esce in tre taglie da 28.000.000 a 215.000.000 di parametri ed è stato preaddestrato solo su dati artificiali. È distribuito con licenza OpenMDW-1.1 per uso commerciale. NVIDIA dice che è primo su TabArena, BeyondArena, TALENT e ScoringBench. La proposta è esplicitamente un sostituto del ciclo riaddestra e distribuisci. Gli alberi potenziati dal gradiente hanno imposto quel ciclo al machine learning aziendale per due decenni. Così lo stack aperto si divide in due. Un ramo elimina la fase di fine tuning da intere categorie di lavoro. L'altro ramo ha ancora bisogno di pesi modificati, e la sua macchina circostante viene aperta.

Il ramo dell'inferenza a basso costo cresce in fretta

Fermion Research ha pubblicato Phonon-2 il 30 settembre, un modello di riconoscimento vocale per l'inglese. Il suo encoder memorizza ogni peso come uno di cinque livelli appresi, a circa 2,1 bit per peso. Il download è di 164 MB. Secondo la pagina di ricerca dell'azienda, arriva in media al 5,21 per cento di word error sui sette set inglesi della Open ASR Leaderboard. Ogni modello aperto che segna meglio è almeno 5,8 volte più grande. Trasforma un'ora di audio in testo in circa 20 secondi su un MacBook Air. I pesi sono CC-BY-4.0, derivati da Parakeet TDT 0.6B v3 di NVIDIA.

Lo schema si ripete con OpenZL di Meta, arrivato alla v0.3.0 il 29 settembre. Le note di rilascio descrivono un nuovo motore LZ che usa PivCo Huffman come backend di entropia. La decompressione è il 33 per cento più veloce della v0.2.0 e il 144 per cento più veloce di Zstandard a impostazioni equivalenti.

Più interessante per chi addestra o serve modelli: il Compression Transformer. È una piccola rete neurale che costruisce grafi di compressione numerica al volo, per ogni input, senza addestramento per singola fonte. Meta lo ha valutato su 868 famiglie di flussi numerici, 34.737 file e 17,9 GB. Meta dice che comprime in media il 35 per cento meglio di zstd -19. Resta anche entro l'1,1 per cento dai grafi addestrati. Pesi più piccoli, compressione migliore, meno token spesi. È la direzione di marcia, e all'industria del fine tuning costa lavoro.

Jev di TypeSafe è l'esempio più chiaro di un modello costruito per non aver bisogno di alcun adattamento abituale. Risponde a domande Choice, Score e Noul invece di generare testo. Questo lo rende abbastanza economico perché il problema interessante diventi l'instradamento, non l'addestramento.

Il Register ha riportato il 29 settembre che Jevstiller, un progetto open source, distilla Jev in un modello studente locale. Punta al 98 per cento di concordanza con il servizio ospitato. Risponde anche a richieste familiari su una CPU del dispositivo in appena 15 ms. La documentazione del progetto, citata dal Register, dice che gli input sicuri ricevono risposta locale e tutto il resto va a monte. È fine tuning con un altro nome, e avviene sulla macchina dell'utente, contro un insegnante che l'utente non controlla.

Da cosa deve difendersi oggi uno stack di fine tuning

OpenAPPA, pubblicato su GitHub il 30 settembre, sta tra un agente e i suoi strumenti. Prima di ogni chiamata risponde a una domanda: questi dati possono andare a questa destinazione? Traccia la sensibilità e l'affidabilità di tutto ciò che un agente legge. Applica una policy scritta in TOML dichiarativo.

I benchmark del progetto sostengono che nessun attacco valutato è riuscito in 1.320 prove completando dall'88 al 90 per cento dei compiti. Lo confrontano con Microsoft FIDES, che lascia passare dal 28 al 35 per cento degli attacchi. Sono i numeri degli autori, misurati sulle loro suite. Il protocollo UAI, pubblicato anch'esso il 30 settembre, attacca la stessa lacuna dal lato dell'identità. Un agente riceve un'identità legata a un proprietario responsabile e un passaporto limitato nel tempo e nella giurisdizione. Riceve anche attestazioni firmate e concatenate con hash di ciò che ha fatto.

Il README è prudente come pochi progetti sanno essere. "UAI non sostiene che un agente AI sia sicuro", si legge. "Fornisce un meccanismo per rendere le azioni di un agente attribuibili e verificabili in modo indipendente". Entrambi i progetti esistono perché l'alternativa ha fallito in modo visibile quest'anno. Quell'alternativa è fidarsi del sistema che ha compiuto un'azione perché scriva anche il registro.

Il Guardian ha riportato il 30 settembre che la FTC ha aperto un'indagine su tutto il settore verso Anthropic, OpenAI e altri. È la prima azione ufficiale di enforcement negli Stati Uniti che tocca agenti AI fuori controllo, con richieste formali di informazioni e testimonianze obbligate in programma. Secondo il Guardian, la notizia era stata riportata per prima dal New York Post.

Ars Technica ha riferito lo stesso giorno che OpenAI ha rinviato la sua IPO. Sam Altman ha detto ai giornalisti al developer day dell'azienda che non avrebbe "puntato tutte le armi verso un'IPO" finché ha ancora bisogno di "prendere decisioni di sicurezza con fiducia". Ars stima la valutazione dell'azienda a 852.000.000.000 di dollari. Scrive che l'azienda è in trattative per raccogliere 30.000.000.000 di dollari o più a circa 1.400.000.000.000. Lo stesso giorno un'organizzazione no-profit chiamata Legal Advocates for Safe Science & Technology ha fatto causa in California. Chiede pratiche migliori di valutazione, monitoraggio e addestramento.

"Visto quello che vediamo in termini di progresso e sviluppo [nell'AI], la frequenza e la sofisticazione di questi episodi di hacking non potranno che aumentare", ha detto Vivian Dong, direttrice dei programmi di LASST, in commenti riportati da Ars Technica.

Le pratiche di addestramento sono ormai un rischio legale. Questo cambia lo scopo di uno stack di fine tuning.

Anche il livello di governance diventa open source

OpenClaw Enterprise, annunciato il 30 settembre, è il tentativo più diretto di rispondere. È un piano di controllo open source e neutrale rispetto ai fornitori per agenti persistenti. Offre multi-tenancy, confini rigidi tra carichi di lavoro fidati e non fidati, sandboxing, revisioni basate su LLM e permessi granulari. Il blog dice che il progetto è nato in OpenAI ed è stato donato alla OpenClaw Foundation. Ora è sviluppato con Red Hat e NVIDIA. È pre-1.0 e viene descritto come adatto a carichi di lavoro pilota interni. Secondo l'annuncio, OpenAI sta già eseguendo agenti OpenClaw con accesso completo a basi di codice e plugin.

Inspect dell'AI Security Institute britannico, documentato il 30 settembre, copre il lato della misurazione. È un framework per valutazioni di frontiera con dataset, solver e scorer componibili. Ha più di 200 valutazioni predefinite. Supporta l'esecuzione di agenti esterni arbitrari, tra cui Claude Code, Codex CLI e Gemini CLI, con sandboxing in Docker, Kubernetes o Modal.

Poi c'è il livello più silenzioso e più pratico. Un repository GitHub pubblicato il 30 settembre cataloga guasti noti in ChatGPT Work e Codex dopo il DevDay di OpenAI del 29 settembre. Rimanda a segnalazioni degli utenti più che a bug confermati. La lamentela centrale: le esecuzioni lunghe degli agenti falliscono e l'utilizzo consumato non viene rimborsato, perché non c'è un checkpoint da cui riprendere. Una segnalazione citata su Codex desktop dice che un'esecuzione di riparazione ha bruciato circa il 50 per cento di una quota settimanale dopo 7 ore e 15 minuti. OpenAI non ha confermato nulla. L'autore del repository dice che GPT-5.6 Sol si comporta bene tramite OpenCode, il che punta all'infrastruttura più che ai modelli.

Vincent Schmalbach, scrivendo il 30 settembre, dà la versione commerciale dello stesso argomento. Dice che OpenAI gli ha dato 5.000 dollari di crediti di utilizzo su due account Codex. Dice anche che gli è stato comunicato che la quota sui suoi abbonamenti da 200 dollari sarebbe stata dimezzata dal 30 ottobre, quando Pro 200 passa da 20x a 10x la quota Plus. Ha intenzione di passare a Plus e spendere la differenza in abbonamenti Claude. È il racconto di un cliente, non un'indagine di mercato. Ma la direzione è coerente con uno stack in cui il modello è una commodity e il prodotto è l'impalcatura.

Il pezzo mancante

L'argomento che mi ha messo in moto, uno stack open source per il fine tuning degli LLM, è la parte più sottile di questo articolo. Due voci ci vanno vicine. Nimble di Bespoke Labs, pubblicato il 30 settembre, rende disponibili dati, una ricetta di addestramento e un modello da 9.000.000.000 di parametri che prende decisioni tipizzate. Il README precisa che non ha distillato da Jev. L'obiettivo è mostrare come curare i dati, addestrare e servire, e incoraggiare altra ricerca.

OpenResearch, pubblicato anch'esso il 30 settembre, è uno spazio di lavoro desktop e CLI local-first. Dà agli agenti di programmazione la ricerca bibliografica su alphaXiv, bioRxiv e PubMed. Dà anche l'esecuzione di esperimenti su Slurm, Kubernetes, Modal o Hugging Face Jobs. E tiene un registro SQL locale di ogni esecuzione, così gli agenti possono imparare dai risultati passati. Nessuno dei due è un trainer. Entrambi danno per scontato che il modello esista già e che la parte difficile sia l'orchestrazione, la provenienza dei dati e la valutazione. È un cambio reale, e non è ovviamente una buona notizia per chi ha come prodotto un wrapper intorno a uno script di addestramento.

Un contrappeso, da Rest of World del 30 settembre: gli hub cinesi di modelli aperti nazionali stanno crescendo forte. ModelScope di Alibaba, lanciato nel 2022, ospita ora più di 170.000 modelli. MoArk di OSChina, lanciato nel 2023, ne serve circa 20.000.

Xu Yong, amministratore delegato di OSChina, ha detto alla testata che non tutti possono usare una VPN tutto il tempo. Ha detto che la Cina sta sviluppando un ecosistema indipendente nell'AI più in fretta di quanto abbia fatto nell'era di internet. Rest of World riporta anche che Nvidia ha annunciato a settembre di acquistare Hugging Face per 12.900.000.000 di dollari. Stack sovrani significano fine tuning sovrano, e quel lavoro non avverrà sugli stessi strumenti di tutti gli altri.

Le uscite della settimana condividono una premessa: smetti di addestrare quando puoi invece instradare, comprimere o verificare. Se questo valga per i carichi di lavoro che hanno davvero bisogno di nuovi pesi è la domanda a cui nessuno di questi annunci ha risposto.

Commenti 0

Fonti

15
  1. 01Introducing Forge: the open source pipeline for generating SDKs, CLIs, docs, and moreEN
  2. 02NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular PredictionEN
  3. 03Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  4. 04Release OpenZL v0.3.0EN
  5. 05Open source tool distills Jev so you can run it locallyEN
  6. 06OpenAPPA: Deterministic guardrails that don't break agentsEN
  7. 07UAI: An open protocol for identity and accountability of AI agentsEN
  8. 08US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  9. 09OpenAI delays IPO over AI safety concernsEN
  10. 10OpenClaw Enterprise - The Open Agent PlatformEN
  11. 11Inspect: An open-source framework for large language model evaluationsEN
  12. 12OpenAI after DevDay 2026: known issues for serious development workEN
  13. 13OpenAI Is Paying Me to Move My Business to AnthropicEN
  14. 14Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  15. 15The open-source AI platforms vying to become China's Hugging FaceEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.