Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I piccoli modelli linguistici passano on-device, ma i segnali di affidabilità restano indietro

La famiglia OpenELM di Apple va da 270.000.000 a 3.000.000.000 di parametri, e Google ora distribuisce Gemma 3n con input testuali, immagini, video e audio. Un articolo su arXiv del 2026, però, riporta che l'entropia a livello di token è di fatto cieca nei modelli sotto i 3.000.000.000 di parametri.

IA e modelliAnalisiGiulia FerrariPubblicato: 27 settembre 20267 min di letturaFonti 6
I piccoli modelli linguistici passano on-device, ma i segnali di affidabilità restano indietro

I piccoli modelli linguistici on-device hanno smesso di essere una curiosità da laboratorio. In due anni sono passati da pesi dimostrativi su Hugging Face a librerie distribuite. Queste librerie aggiungono retrieval, function calling e input multimodali. Il messaggio è sempre lo stesso: tenere l'inferenza sul telefono o sul portatile, tagliare i costi dei server, lasciare i dati degli utenti in locale.

Gli strumenti che dicono a questi modelli quando sbagliano non hanno tenuto lo stesso passo.

Da otto modellini a una libreria

Apple ha aperto questa fase il 24 aprile 2024. Ha rilasciato otto modelli linguistici con codice disponibile sotto il nome OpenELM, abbreviazione di Open-source Efficient Language Models, secondo Ars Technica. Andavano da 270.000.000 a 3.000.000.000 di parametri, divisi in quattro varianti pre-addestrate e quattro instruction-tuned. Ars Technica ha messo le dimensioni in prospettiva. All'epoca la famiglia Llama 3 di Meta arrivava a 70.000.000.000 di parametri, con una versione da 400.000.000.000 in lavorazione. Il GPT-3 di OpenAI del 2020 usciva con 175.000.000.000.

La tesi di Apple non riguardava solo le dimensioni. L'azienda ha detto che la sua strategia di scaling layer-wise distribuiva i parametri in modo più efficiente tra i layer. Il white paper riportava un miglioramento di accuratezza del 2,36 per cento rispetto a OLMo 1B di Allen AI usando metà dei token di pre-addestramento. Apple ha pubblicato anche la libreria di training CoreNet e le ricette di training riproducibili, cosa che Ars Technica ha definito insolita per una grande azienda tecnologica. I modelli avevano una finestra di contesto di 2048 token. Sono stati addestrati su RefinedWeb, su un PILE deduplicato, su un sottoinsieme di RedPajama e su un sottoinsieme di Dolma v1.6, per circa 1.800.000.000.000 di token in totale.

Esiste la possibilità che questi modelli producano output inaccurati, dannosi, distorti o sgradevoli in risposta ai prompt degli utenti, avvertiva Apple nel suo paper, come riportato da Ars Technica.

Quella avvertenza conta di più man mano che questi modelli escono dal laboratorio.

Google trasforma gli SLM in una piattaforma

A maggio 2025 la cornice era cambiata. L'attenzione si era spostata dal rilascio di modelli al sostegno di un ecosistema. Il team AI Edge di Google ha detto di aver esteso il supporto on-device da quattro modelli iniziali a più di una dozzina. Questi sono ospitati su una nuova community LiteRT su Hugging Face, tra cui Gemma 3 e Gemma 3n.

Gemma 3n è arrivato come anteprima. Google lo ha descritto come il primo piccolo modello linguistico multimodale on-device di Gemma, con varianti da 2.000.000.000 e 4.000.000.000 di parametri che supportano testo, immagini, video e audio. Google ha detto che le modalità testo e immagine erano disponibili su Hugging Face, con l'audio in arrivo. L'azienda ha indicato anche Gemma 3 1B, da 529MB. Ha detto che il modello poteva arrivare a 2.585 token al secondo in pre-fill su una GPU mobile, abbastanza per elaborare una pagina di contenuti in meno di un secondo.

La parte più rilevante dell'annuncio era l'infrastruttura. Google ha distribuito una libreria di Retrieval Augmented Generation on-device, disponibile su Android al lancio. Ha distribuito anche una libreria di function calling on-device, anch'essa prima su Android. La libreria RAG permette a un modello di attingere a dati specifici dell'applicazione senza fine-tuning. Google ha detto che poteva far emergere i pezzi più pertinenti da 1000 pagine di informazioni o 1000 foto. La libreria di function calling permette a un modello di decidere quando richiamare funzioni o API predefinite. L'app di esempio di Google compila un modulo dal parlato dettato. Converte la voce in testo, estrae i campi e chiama le funzioni dell'applicazione.

Google ha descritto anche nuovi schemi di quantizzazione post-training int4. Ha detto che possono ridurre le dimensioni del modello di un fattore da 2,5 a 4 volte rispetto a bf16, diminuendo latenza e consumo di memoria di picco. È il tipo di dettaglio ingegneristico che decide se un modello arriva sul mercato o resta una demo.

SlimLM e il benchmark su Samsung

Il lavoro accademico è andato in parallelo. Un paper inviato ad arXiv il 15 novembre 2024, rivisto fino al 25 novembre, ha presentato SlimLM. È una serie di piccoli modelli linguistici ottimizzati per l'assistenza ai documenti su dispositivi mobili. Gli autori, Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt e Trung Bui, hanno condotto esperimenti su un Samsung Galaxy S24. Hanno mappato i compromessi tra dimensioni del modello, da 125.000.000 a 7.000.000.000 di parametri, lunghezza del contesto e tempo di inferenza.

SlimLM è stato pre-addestrato su SlimPajama-627.000.000.000. È stato fine-tuned su DocAssist, un dataset costruito dagli autori per riassunto, question answering e suggerimenti. L'abstract dice che il modello più piccolo si comportava in modo efficiente sul S24. Le varianti più grandi offrivano più capacità entro i vincoli mobili, e il lavoro si confrontava favorevolmente con i piccoli modelli linguistici esistenti. Gli autori hanno rilasciato anche un'applicazione Android. Hanno inquadrato il vantaggio come riduzione dei costi dei server e migliore privacy grazie all'elaborazione on-device.

Il problema dell'affidabilità

Resta la questione se questi modelli sappiano quello che non sanno. Un paper inviato ad arXiv il 21 luglio 2026 da Prashant Mudgal ha esaminato i segnali di affidabilità basati sull'entropia nei piccoli modelli linguistici con meno di 3.000.000.000 di parametri, eseguiti interamente su hardware consumer. Ha valutato sette approcci su 7 coppie di modelli e 5 benchmark NLU standard.

Il risultato principale è scomodo. L'entropia a livello di token era di fatto cieca. Nel 91 per cento delle combinazioni dataset-modello, l'entropia media dei token era vicina a zero indipendentemente dalla correttezza della risposta. Il paper dice che questo rende inutilizzabili i segnali di affidabilità basati sui token a questa scala.

L'entropia semantica è andata meglio. Il metodo genera più campioni, raggruppa le risposte per significato e misura l'incertezza distribuzionale. Così ha recuperato un segnale di affidabilità utilizzabile. Usarlo per indirizzare le query incerte a un modello esperto più grande ha prodotto miglioramenti di accuratezza fino a 50 punti percentuali. Il routing tra famiglie diverse, il paper fa l'esempio da SmolLM 360.000.000 a Phi-3.5-mini, ha dato in media un miglioramento del 22,0 per cento contro il 6,8 per cento del routing nella stessa famiglia. La conclusione dell'autore è che il valore dei metodi basati sull'entropia nei piccoli modelli non sono i risparmi computazionali ma l'allocazione intelligente della potenza di calcolo, spendendo più token dove contano di più.

Ragionare senza parole

Un altro filone di ricerca chiede se i piccoli modelli debbano affatto scrivere il proprio ragionamento. Science News ha riportato il 22 settembre 2026 che un piccolo sistema sperimentale chiamato BDH-CQ, dove DH sta per Dragon Hatchling, riesce a risolvere alcuni rompicapi di ragionamento senza esplicitare i passaggi intermedi. Il paper è stato inviato ad arXiv il 10 agosto e non è stato sottoposto a peer review.

Invece di tenere gli esempi nel contesto, BDH-CQ usa ogni esempio per aggiornare una memoria di dimensioni fisse. Zuzanna Stamirowska è una scienziata della complessità e CEO dell'azienda di AI Pathway. Ha detto a Science News che, una volta arrivata la query, il modello non scrive affatto il proprio pensiero a parole. "In mezzo non si converte mai in linguaggio", ha detto.

Stamirowska e colleghi hanno riportato che il modello ha risolto quasi tre rompicapi su 10 sul set di valutazione pubblico ARC-AGI-1 con due tentativi. Ha gestito alcuni compiti di rotazione e spostamento delle forme, ma ha faticato con i cambi di colore e con alcune combinazioni di regole. È andato meglio sui rompicapi più difficili di ordinamento e annidamento dopo aver visto un esempio di difficoltà simile.

La stima dei costi è notevole. I ricercatori stimano che ogni query di un rompicapo costi circa 0,00070 dollari per l'esecuzione, più o meno un undicesimo rispetto a GPT-5.6 Luna sullo stesso benchmark. Science News nota che i due costi sono stati calcolati in modo diverso. I ricercatori esterni hanno reagito con misura. Yuntian Deng dell'Università di Waterloo lo ha definito un risultato interessante di efficienza. Ha detto che non dimostra che l'architettura sottostante sia migliore di altri approcci, e ha notato che senza ragionamento scritto il modello è più difficile da ispezionare. Jonas Geiping dell'Istituto ELLIS di Tubinga e dell'Istituto Max Planck per i Sistemi Intelligenti ha detto che il modello è stato costruito appositamente per problemi in stile ARC, il che rende difficile il confronto diretto con sistemi general-purpose. Ha definito l'approccio ingegnoso e ha notato che può affrontare problemi di test senza riaddestramento.

Distribuire prima di capire

Bouncer di Imbue, un filtro per il feed di Twitter pubblicato l'8 aprile 2026, mostra come appare il deployment nella pratica. Lo strumento classifica i post usando un modello open source che il post sul blog chiama Gemma 4 26.000.000.000-A4B. Dice che il modello è abbastanza grande per capire il contesto e abbastanza piccolo per stare al passo con lo scorrimento. Imbue dice di servire attualmente il modello dal proprio data center mentre lavora per eseguirlo direttamente su portatili e telefoni. Dice che Bouncer è disponibile come estensione per Chrome, componente aggiuntivo per Firefox e app per iPhone, con supporto promesso per Reddit, LinkedIn e Safari.

Lo schema che attraversa questi progetti è coerente. Capacità e distribuzione si muovono più in fretta della valutazione. Apple ha distribuito pesi con una nota schietta su output inaccurati o distorti. Google ha distribuito retrieval e function calling perché i modelli possano agire sui dati delle applicazioni. SlimLM ha misurato compiti sui documenti su hardware reale. Il paper di Mudgal ha scoperto che il segnale di affidabilità più economico non funziona sotto i 3.000.000.000 di parametri, e che uno più costoso sì. BDH-CQ suggerisce che parte del ragionamento può avvenire senza linguaggio, mentre i ricercatori avvertono che il ragionamento non espresso è più difficile da verificare.

Commenti 0

Fonti

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Can AI reason without words? A small model puts the idea to the testEN
  6. 06Show HN: Control your X/Twitter feed using a small on-device LLMEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.