Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I piccoli modelli linguistici passano on-device, e la ricerca insegue ancora

La famiglia OpenELM di Apple va da 270.000.000 a 3.000.000.000 di parametri, e Gemma 3 1B di Google gira a 529MB, ma un articolo del 2026 rileva che i segnali di confidenza a livello di token sono quasi nulli nel 91% delle combinazioni dataset-modello.

IA e modelliSpiegatoGiulia FerrariPubblicato: 28 settembre 20264 min di letturaFonti 6
I piccoli modelli linguistici passano on-device, e la ricerca insegue ancora

I piccoli modelli linguistici, quelli sotto i 3.000.000.000 di parametri che possono girare su un telefono invece che in un data centre, sono passati da curiosità di ricerca a prodotto commerciale in circa due anni. La promessa è semplice: tenere il modello in locale, tagliare i costi dei server e tenere i dati degli utenti fuori dall'hardware di qualcun altro. Le prove sono più contrastanti di quanto suggerisca il marketing.

Il contributo di Apple è il punto di partenza più chiaro. Il 24 aprile 2024 Ars Technica ha riferito che l'azienda ha pubblicato otto modelli con il nome OpenELM, abbreviazione di Open-source Efficient Language Models, su Hugging Face con una Apple Sample Code License. Ars Technica ha osservato che la licenza contiene restrizioni che potrebbero non rientrare nella definizione comunemente accettata di open source, anche se il codice sorgente è disponibile. I modelli vanno da 270.000.000 a 3.000.000.000 di parametri, in quattro varianti pre-addestrate e quattro instruction-tuned, con una finestra di contesto massima di 2.048 token. Il white paper di Apple afferma che una "layer-wise scaling strategy" ha prodotto un miglioramento di accuratezza del 2,36 per cento rispetto a OLMo 1B di Allen AI usando metà dei token di pre-addestramento.

Ars Technica lo ha inserito nel contesto: all'epoca la famiglia Llama 3 di Meta arrivava a 70.000.000.000 di parametri, con una versione da 400.000.000.000 in sviluppo, e GPT-3 di OpenAI del 2020 usciva con 175.000.000.000. Il numero di parametri è una misura approssimativa, non un verdetto.

Cosa misurano davvero gli articoli sui benchmark

SlimLM, pubblicato su arXiv il 15 novembre 2024, ha seguito una strada più stretta: l'assistenza ai documenti. Gli autori, Thang M. Pham e quattro coautori, hanno testato modelli da 125.000.000 a 7.000.000.000 di parametri su un Samsung Galaxy S24. Il pre-addestramento è stato fatto su SlimPajama-627.000.000.000, il fine-tuning su un dataset che hanno costruito e chiamato DocAssist per attività di riassunto, risposta a domande e suggerimenti. L'abstract rivendica prestazioni comparabili o superiori rispetto ai piccoli modelli esistenti e descrive un'applicazione Android come riferimento di distribuzione. È un dato utile perché indica insieme l'hardware, il compito e le dimensioni dei modelli, cosa che la maggior parte delle dichiarazioni on-device non fa.

Il team AI Edge di Google è andato più largo. In un post sul blog per sviluppatori del 20 maggio 2025, Mark Sherwood, Matthew Chan, Marissa Ikonomidis e Milen Ferev hanno annunciato il supporto a più di una dozzina di modelli, tra cui Gemma 3 e Gemma 3n, ospitati in una nuova community LiteRT su Hugging Face. Gemma 3 1B pesa 529MB e può arrivare a 2.585 token al secondo in pre-fill sulla GPU mobile, il che secondo Google gli permette di elaborare fino a una pagina di contenuti in meno di un secondo. Gemma 3n, nelle varianti da 2.000.000.000 e 4.000.000.000 di parametri, è descritto come il primo piccolo modello linguistico multimodale on-device di Gemma, con supporto a testo, immagini, video e audio, di cui testo e immagini disponibili per primi. Il post introduce anche librerie per RAG e function calling on-device, entrambe disponibili su Android al lancio.

Poi c'è il livello scettico. Un articolo intitolato "Do small language models know what they don't know?" è stato inviato ad arXiv il 21 luglio 2026 da Prashant Mudgal. Valuta sette approcci alla confidenza basata sull'entropia su 7 coppie di modelli e 5 benchmark NLU. Il risultato principale è netto: nei piccoli modelli l'entropia a livello di token è di fatto cieca, resta vicina allo zero indipendentemente dalla correttezza della risposta nel 91% delle combinazioni dataset-modello. L'entropia semantica, calcolata campionando e raggruppando le risposte per significato, recupera un segnale utilizzabile. Instradare le query incerte verso un modello esperto più grande ha migliorato l'accuratezza fino a 50 punti percentuali, con un routing tra famiglie diverse che segna in media +22,0% contro +6,8% per il routing nella stessa famiglia.

Ragionare senza il commento in diretta

Science News ha riferito il 22 settembre 2026 di BDH-CQ, un piccolo sistema sperimentale inviato ad arXiv il 10 agosto che risolve alcuni puzzle di ragionamento senza scrivere i passaggi intermedi. La scienziata della complessità Zuzanna Stamirowska, CEO dell'azienda di AI Pathway, ha detto a Science News: "Una volta arrivata la query, il modello non scrive affatto il suo ragionamento a parole." Il modello ha risolto quasi tre puzzle su 10 nel set di valutazione pubblico ARC-AGI-1 con due tentativi. Stamirowska e colleghi stimano che ogni query di un puzzle costi circa 0,00070 dollari per l'esecuzione, all'incirca un undicesimo di GPT-5.6 Luna sullo stesso benchmark, anche se Science News nota che i due costi sono stati calcolati in modo diverso e che lo studio non è stato sottoposto a peer review.

Non tutti sono convinti. L'informatico Yuntian Deng dell'Università di Waterloo ha detto a Science News che il risultato è "un interessante risultato di efficienza" ma non dimostra che l'architettura sia migliore di altri approcci, e che senza ragionamento scritto il modello è più difficile da ispezionare. Jonas Geiping dell'ELLIS Institute Tübingen e del Max Planck Institute for Intelligent Systems ha definito l'approccio "elegante" ma ha detto che BDH-CQ è stato costruito appositamente per problemi in stile ARC, il che rende difficile il confronto diretto con sistemi general-purpose.

La distribuzione sta già superando gli articoli. Bouncer di Imbue, un filtro per il feed di Twitter pubblicato l'8 aprile 2026, usa un modello open source che l'azienda chiama Gemma 4 26.000.000.000-A4B per la classificazione, servito per ora dal data centre di Imbue. L'ingegnere Millan Philipose scrive che il team sta lavorando per farlo girare direttamente su laptop e telefoni. Il divario tra quell'ambizione e un modello da 529MB su un telefono è il punto in cui sarà messa alla prova gran parte della prossima ondata di dichiarazioni.

Commenti 0

Fonti

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Can AI reason without words? A small model puts the idea to the testEN
  6. 06Show HN: Control your X/Twitter feed using a small on-device LLMEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.