Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I piccoli modelli linguistici on-device passano dalle demo agli strumenti in produzione

Apple ha pubblicato OpenELM nell'aprile 2024: otto piccoli modelli linguistici da 270 milioni a 3 miliardi di parametri, rilasciati su Hugging Face. Due anni dopo, la spinta verso l'on-device si è allargata alla multimodalità, al retrieval e al function calling.

IA e modelliAnalisiChiara RomanoPubblicato: 27 settembre 20264 min di letturaFonti 5
I piccoli modelli linguistici on-device passano dalle demo agli strumenti in produzione

L'idea dietro i piccoli modelli linguistici è semplice: tenere l'inferenza sul telefono e i dati fuori dal server. Apple l'ha resa concreta il 24 aprile 2024. Ars Technica ha riportato il rilascio di OpenELM, otto modelli con codice sorgente disponibile da 270 milioni a 3 miliardi di parametri.

Apple li ha distribuiti in due versioni, quattro pretrained e quattro instruction-tuned, con una Apple Sample Code License. Ars Technica ha osservato che la licenza prevede restrizioni. OpenELM potrebbe quindi non rientrare nella definizione comunemente accettata di open source, anche se il codice sorgente è pubblicato. I modelli usano una finestra di contesto massima di 2048 token. Sono stati addestrati su RefinedWeb, su un PILE deduplicato e su sottoinsiemi di RedPajama e Dolma v1.6. Apple dichiara un totale di circa 1,8 trilioni di token.

Il confronto di scala conta. All'epoca la famiglia Llama 3 di Meta arrivava a 70 miliardi di parametri. Il GPT-3 di OpenAI del 2020 usciva con 175 miliardi. Il modello OpenELM più grande di Apple è da 3 miliardi.

"La riproducibilità e la trasparenza dei grandi modelli linguistici sono essenziali per far avanzare la ricerca aperta, garantire l'attendibilità dei risultati e permettere indagini sui bias nei dati e nei modelli, oltre che sui rischi potenziali."

La frase viene dall'abstract del paper OpenELM di Apple, citato da Ars Technica. Apple ha pubblicato anche CoreNet, la libreria di training, insieme a ricette di addestramento riproducibili che permettono di replicare i pesi. Ars Technica l'ha definita una cosa insolita, all'epoca, per una grande azienda tecnologica. Lo stesso articolo riporta l'avvertenza di Apple: poiché i dati di addestramento provengono da fonti pubbliche, i modelli possono produrre output imprecisi, dannosi, distorti o sgradevoli.

La ricerca ha seguito l'hardware. Un paper inviato ad arXiv il 15 novembre 2024 ha presentato SlimLM, una serie di modelli da 125 milioni a 7 miliardi di parametri ottimizzati per l'assistenza sui documenti su dispositivi mobili. Gli autori hanno fatto esperimenti su un Samsung Galaxy S24 per trovare i compromessi tra dimensione del modello, lunghezza del contesto e tempo di inferenza. Hanno fatto il pretraining su SlimPajama-627 miliardi e il fine-tuning su un dataset che hanno costruito e chiamato DocAssist, per riassunto, risposta a domande e suggerimenti. Insieme al paper hanno rilasciato un'applicazione Android. Hanno inquadrato l'obiettivo come riduzione dei costi dei server e miglioramento della privacy grazie all'elaborazione sul dispositivo.

Google aggiunge retrieval e function calling

Il team AI Edge di Google ha spinto la categoria più avanti con un post pubblicato il 20 maggio 2025. L'azienda ha detto di aver esteso il supporto dai quattro piccoli modelli linguistici on-device iniziali a più di una dozzina. Tra questi ci sono Gemma 3 e un'anteprima iniziale di Gemma 3n, ospitati su una community LiteRT su Hugging Face.

Gemma 3n è descritto come il primo piccolo modello linguistico on-device multimodale di Gemma. Supporta input di testo, immagini, video e audio nelle varianti da 2 miliardi e 4 miliardi di parametri. Le modalità testo e immagine erano disponibili su Hugging Face, con l'audio in arrivo. Google ha anche sostenuto che la quantizzazione post-training int4 può ridurre i modelli linguistici di un fattore da 2,5 a 4 volte rispetto a bf16, tagliando la latenza e la memoria di picco. Il suo modello Gemma 3 1B, da 529MB, arriva fino a 2.585 token al secondo in pre-fill sulla GPU mobile, secondo il post. Basta per elaborare una pagina di contenuti in meno di un secondo.

Le aggiunte più rilevanti sono state librerie, non pesi. Google ha detto che la sua libreria RAG può estrarre i pezzi di dati più pertinenti da 1.000 pagine di informazioni o da 1.000 foto per ancorare un modello senza fine-tuning. Ha detto che la sua libreria di function calling permette a un modello di decidere quando richiamare funzioni predefinite dentro un'app. Entrambe erano disponibili su Android al lancio, con le altre piattaforme in arrivo.

La fiducia resta la questione aperta. Un paper inviato ad arXiv il 21 luglio 2026 ha verificato se i segnali basati sull'entropia possono dire quando un piccolo modello sbaglia. Su sette coppie di modelli e cinque benchmark NLU, l'autore ha trovato l'entropia a livello di token di fatto cieca nei modelli sotto i 3 miliardi di parametri. Nel 91% delle combinazioni dataset-modello, l'entropia media per token restava vicina a zero indipendentemente dalla correttezza della risposta. L'entropia semantica recuperava un segnale utilizzabile. Instradare le query incerte verso un modello esperto più grande migliorava l'accuratezza fino a 50 punti percentuali. L'instradamento tra famiglie diverse ha dato in media un guadagno del 22,0% contro il 6,8% dell'instradamento nella stessa famiglia. Questo suggerisce che la qualità del modello esperto conta più della compatibilità architetturale.

Gli strumenti commerciali sono già in distribuzione. Needle 3 di Cactus, pubblicato il 18 settembre 2026, descrive una famiglia di modelli da 121 milioni di parametri con binari CQ2-bit da 9 a 29 MB, tool calling, estrazione strutturata e text embedding. Sostiene che la sua sottorete a 4 strati possa eguagliare DeepSeek V4 Flash quando viene messa a punto su task downstream per un'epoca. L'azienda riporta da 400 a 4.000 token al secondo in decode su un Raspberry Pi 5.

Apple, dal canto suo, non ha integrato OpenELM nei dispositivi di consumo. Ars Technica ha riportato che iOS 18, atteso per giugno al WWDC, secondo le voci avrebbe incluso funzioni di AI on-device. Ha anche notato la possibilità che Apple ingaggiasse Google o OpenAI per un'elaborazione più pesante fuori dal dispositivo. Due anni dopo, i piccoli modelli sono reali. Le decisioni di prodotto stanno ancora rincorrendo.

Commenti 0

Fonti

5
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Needle 3 - 8-29 MB foundation model for tiny devicesEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.