Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Il modello da 145M di Coop addestrato dai volontari, e la corsa ai modelli piccoli intorno

Un modello linguistico da 145 milioni di parametri sta facendo il pretraining da zero su hardware di consumo donato. Il progetto non usa server né finanziamenti, secondo il repository GitHub aggiornato il 30 settembre.

IA e modelliAnalisiChiara RomanoPubblicato: 2 ottobre 20263 min di letturaFonti 8
Il modello da 145M di Coop addestrato dai volontari, e la corsa ai modelli piccoli intorno

Il progetto si chiama Coop. Il suo repository descrive un ciclo di addestramento che gira interamente sulle macchine dei volontari. Usa anche i piani gratuiti di Hugging Face e GitHub Actions.

La fase 2 è attiva: un modello da circa 145.000.000 di parametri in pretraining su FineWeb-Edu. La fase 1, una corsa da 15.000.000 di parametri su TinyStories, si è chiusa oltre il budget di token ottimale secondo Chinchilla. I volontari scaricano un checkpoint e eseguono passi AdamW in locale su una porzione personale dei dati. Poi inviano uno pseudo-gradiente come pull request su un repository pubblico di dataset su Hugging Face. Un cron job di GitHub Actions gira ogni cinque minuti. Legge le pull request aperte e scarta quelle vecchie. Ritaglia e filtra le altre, poi le aggrega con una media trimmed o una mediana geometrica. Fa un passo di Nesterov e carica un nuovo checkpoint. Il repository nota che lo scheduler condiviso di GitHub in realtà parte a distanza di minuti o di qualche ora. Il protocollo tollera qualsiasi cadenza.

Il progetto sostiene che il suo ciclo è già collaudato in produzione, non solo progettato. Più volontari, su Apple Silicon e su CPU normali, hanno addestrato lo stesso passo esterno. Quel passo è stato mediato in un unico aggiornamento. Un invio che ha fatto gara con un tick è stato accettato un passo dopo, con un peso di staleness ridotto. Le ripetizioni di uno stesso utente si sono fuse in un solo voto. Un round rimasto a metà è stato svuotato invece che buttato.

La cosa conta perché la fascia bassa del mercato si affolla sempre di più. Il 2 ottobre Microsoft AI ha rilasciato MAI-Transcribe-2-Streaming, un modello di trascrizione in tempo reale che copre 60 lingue. Restituisce i primi risultati parziali in poco più di 100 millisecondi, ha riportato The Decoder. Nello stesso rilascio c'era MAI-Voice-2.1, che parla 23 lingue con una sola voce. C'era anche una variante Flash con latenza di 150 millisecondi e 15 dollari per milione di caratteri, in calo da 22.

I modelli decisionali sono l'altro fronte. AWS ha rilasciato Strands Decider 2B, un modello open source che restituisce scelte calibrate invece di testo. È costruito sul torso di Qwen3.5-2B, ha riportato TechCrunch il 1 ottobre. Marc Brooker, distinguished engineer di Amazon, ha detto a TechCrunch che questa classe di modelli è "un decisore perfetto per un passo di workflow". TypeSafe ha chiamato il suo modello Jev in onore dell'economista William Stanley Jevons. Sta lavorando alle versioni future. Il CEO Diogo Almeida ha detto a TechCrunch di non vedere ancora emergere una vera concorrenza.

L'hardware è il vincolo. Apple ora distribuisce un Foundation Model sui Mac con chip M1 o successivi. Si raggiunge dal terminale con il comando fm, una volta configurata Apple Intelligence, ha riportato t3n il 2 ottobre. Il modello risponde in locale e non porta il contesto da un prompt all'altro.

La ricerca sta sondando dove questi sistemi si rompono. Un articolo inviato il 29 settembre riconduce i cicli di retry negli agenti con modelli linguistici a diffusione al masked decoding. Propone una regola di reverse-scoring senza addestramento chiamata Reflect Reverse, secondo l'abstract su arXiv. Un altro articolo, inviato il 1 ottobre, riporta che le classifiche dei modelli si invertono a seconda dell'agent harness. Su Terminal-Bench 4, Claude è davanti a GPT di 7.94 punti in OpenHands ma è dietro di 30.16 punti in PI, su 66 configurazioni valutate, scrivono gli autori.

Gli scacchi sono il nuovo banco di prova a basso costo per l'ottimizzazione dei prompt, con 1.118 puzzle di Lichess e un costo totale dello studio di circa 800 dollari, secondo un articolo inviato il 30 settembre. Il modello più forte tra quelli valutati, Gemini 3.5 Flash, usato come meta-modello, risolve solo circa il 55% dei puzzle. Altrove, un controllore di memoria basato sul rank ha ridotto i token del prompt del 5,9%. Ha abbassato l'errore di previsione della coda della metà inferiore del 13,6% rispetto a una baseline di memoria a grafo su Synthetic Graph World. Ha anche tagliato i token del 24,48% su LongMemEval a parità di accuratezza, secondo i suoi autori.

Coop sta all'estremo opposto di quella curva: nessun datacenter, nessuna voce di bilancio da 2.000.000.000. La sua classifica è fittata sulla validation loss rispetto ai token, non sui passi esterni. Il repository nota che una singola validation loss non dice nulla, perché i passi esterni la alzano tanto quanto la abbassano. La direzione è una proprietà della serie.

Commenti 0

Fonti

8
  1. 01Coop: A small language model pretrained by volunteersEN
  2. 02Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
  3. 03Amazon releases its own Jev clone as decision models flood the webEN
  4. 04Versteckter KI-Chatbot auf dem Mac: So greifst du auf Apples lokales Modell zuDE
  5. 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
  6. 06Finding the Right Fit: Model-Harness Interactions across Agent TasksEN
  7. 07Benchmarking Prompt Optimization of Large Language Models With ChessEN
  8. 08Heavy-Tailed Memory Traces in Long-Horizon Language AgentsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.