I volontari addestrano un modello linguistico da 145 milioni di parametri senza server e senza fondi
Un progetto di volontariato chiamato Coop ha messo online il 30 settembre il modello della seconda fase, un modello linguistico da 145 milioni di parametri preaddestrato interamente su hardware di consumo donato e su livelli gratuiti del cloud.

Il repository, ospitato su GitHub alla voce commonsense-ai/coop, spiega che l'intero ciclo di addestramento gira senza un server, senza un demone e senza alcun finanziamento. I worker scaricano il checkpoint corrente da un repository di modelli su Hugging Face, eseguono passi AdamW in locale su una porzione personale di dati e inviano uno pseudo-gradiente come pull request su un repository pubblico di dataset su Hugging Face. Un job cron di GitHub Actions programmato ogni cinque minuti aggrega quello che è arrivato, esegue un passo esterno di Nesterov e carica un nuovo checkpoint.
La fase 2 è un transformer solo decoder con 12 layer, 14 teste, d=896 e una finestra di contesto da 1.024 token, addestrato su FineWeb-Edu.
La fase 1, un modello da 15 milioni di parametri addestrato per sei giorni su TinyStories, è arrivata oltre il budget ottimale secondo Chinchilla con la perdita di validazione scesa da 9,01 a 2,8, stando al README del progetto.
Che cosa hanno dimostrato davvero i volontari
Il README è insolitamente preciso sui modi in cui il sistema può fallire, ed è lì che sta il dettaglio ingegneristico. Un invio che si è scontrato con un tick di aggregazione è stato accettato un passo dopo, con un peso di staleness ridotto. Le sessioni ripetute di uno stesso utente sono confluite in un unico voto, cosa che il progetto descrive come una difesa dal token farming. Un comando coop stop ha svuotato una sessione a metà invece di scartarla. La coda si svuota a zero a ogni tick, e più volontari su Apple Silicon e su CPU normali hanno addestrato lo stesso passo esterno e l'hanno visto confluire in un unico aggiornamento.
Chi contribuisce non ha bisogno di permessi. Qualsiasi account gratuito di Hugging Face con un token di scrittura può aprire un invio, e il manutentore non concede accessi speciali.
I pesi e lo stato dell'optimizer vivono solo su Hugging Face in formato safetensors, mentre Git tiene codice, configurazione e un registro dei contributori su un ramo dedicato.
Il progetto è attento anche a che cosa significano i suoi numeri. Ogni tick valuta il nuovo checkpoint su una porzione fissa di dati tenuti da parte con un seed fisso, così una differenza tra un passo e l'altro riflette il modello e non il campionamento. La classifica calcola una pendenza sulla perdita di validazione rispetto ai token, non ai passi esterni, perché un passo è tutto il lavoro che in quel tick è arrivato. Il README dichiara che la perdita scende solo quando la pendenza supera due errori standard; qualsiasi risultato inferiore viene riportato come tale.
Come si colloca rispetto al resto del settore
Il lavoro sui modelli piccoli è affollato. TechCrunch ha riferito il 30 settembre che Google ha rilasciato Gemini 4 Argon a un gruppo selezionato di partner della cybersicurezza attraverso il suo Fairwind Program, un modello di frontiera e non un modello piccolo. CNBC ha riferito lo stesso giorno che Argon è già usato internamente per ottimizzare la memoria nei data center di Google. Il contrasto è il punto: i 145 milioni di parametri di Coop sono circa tre ordini di grandezza sotto un rilascio di frontiera, e girano su hardware che i volontari possiedono già.
Il progetto non è l'unico sforzo in quella direzione, anche se il dossier sostiene direttamente solo le affermazioni di Coop.
Quello che mostra è un meccanismo di addestramento distribuito funzionante, senza un budget centrale per l'infrastruttura. Il README dice che il ciclo è provato in produzione più che progettato, ed elenca i casi limite specifici che ha superato.
Coop distribuisce una CLI installabile tramite uv, e un comando coop run latest scarica il checkpoint corrente e genera testo da un prompt.
Il progetto consiglia invece di eseguire il modello TinyStories della fase 1 ormai completata, definendolo molto più coerente di una sessione ancora in corso.
Fonti
5- 01Coop: A small language model pretrained by volunteersEN
- 02Google releases Gemini 4 Argon, called its most powerful model yetEN
- 03Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 04OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
- 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.