I piccoli modelli linguistici arrivano sui dispositivi: Apple, Google, Imbue e Cactus spingono l'AI locale
Apple, Google e fornitori più piccoli stanno portando piccoli modelli linguistici su telefoni, laptop e dispositivi indossabili. Scommettono che l'inferenza possa girare in locale invece che in un data centre.

Apple ha pubblicato otto piccoli modelli linguistici con codice sorgente disponibile ad aprile 2024, sotto il nome OpenELM. Secondo Ars Technica vanno da 270.000.000 a 3.000.000.000 di parametri. I modelli sono finiti su Hugging Face con una Apple Sample Code License. Ars Technica ha osservato che la licenza, per via delle sue restrizioni, potrebbe non rispettare la definizione di open source comunemente accettata, anche se il codice sorgente è disponibile.
Quattro degli otto sono pretrained e quattro instruction-tuned. Tutti e otto hanno una finestra di contesto massima di 2048 token. I dati di addestramento mescolano RefinedWeb, una versione deduplicata di PILE, un sottoinsieme di RedPajama e un sottoinsieme di Dolma v1.6. Apple parla di circa 1.800.000.000.000 di token in totale.
Il white paper di Apple sostiene che una strategia di scaling layer-wise ha dato a OpenELM un miglioramento di accuratezza del 2,36 per cento rispetto a OLMo 1B di Allen AI, usando metà dei token di pre-training. L'azienda ha rilasciato anche CoreNet, la libreria di addestramento, e ricette di training riproducibili per poter replicare i pesi. Ars Technica l'ha definito un fatto insolito, all'epoca, per una grande azienda tecnologica.
Il numero di parametri è una misura grezza delle capacità, e i modelli di Apple restano ben sotto i sistemi più grandi. La famiglia Llama 3 di Meta aveva raggiunto 70.000.000.000 di parametri, con una versione da 400.000.000.000 in preparazione. GPT-3 di OpenAI è uscito con 175.000.000.000 nel 2020. La scommessa dei ricercatori è che i modelli piccoli possano ora eguagliare ciò che modelli molto più grandi facevano qualche anno fa.
Google aggiunge modalità, RAG e function calling
Il team AI Edge di Google ha annunciato il 20 maggio 2025 di aver ampliato il supporto ai piccoli modelli linguistici on-device. Il programma è passato da quattro modelli iniziali a più di una dozzina, tra cui Gemma 3 e Gemma 3n, ospitati in una nuova community LiteRT su Hugging Face. Gemma 3n è arrivato come anteprima. Google lo descrive come il primo piccolo modello linguistico multimodale on-device di Gemma. Le varianti da 2.000.000.000 e 4.000.000.000 di parametri accettano in input testo, immagini, video e audio. Testo e immagini sono stati resi disponibili prima su Hugging Face, l'audio arriverà in seguito.
Google ha anche quantificato il lavoro di compressione. La quantizzazione post-training int4, dice, può ridurre i modelli linguistici di un fattore da 2,5 a 4 volte rispetto a bf16, tagliando latenza e memoria di picco. Gemma 3 1B, a 529MB, arriva a 2.585 token al secondo in pre-fill su una GPU mobile. Secondo Google basta per elaborare una pagina di contenuti in meno di un secondo.
Insieme ai modelli sono arrivate due librerie. La libreria AI Edge RAG, disponibile su Android al lancio, permette a un modello di attingere a dati specifici dell'applicazione senza fine-tuning. Google dice che riesce a scegliere i pezzi più rilevanti da 1.000 pagine o 1.000 foto. La libreria Function Calling, anch'essa prima su Android, permette a un modello di decidere quando chiamare funzioni predefinite. Un'app di esempio compila un modulo medico partendo da un dettato vocale.
La riproducibilità e la trasparenza dei grandi modelli linguistici sono cruciali per far avanzare la ricerca aperta, garantire l'affidabilità dei risultati e consentire indagini su dati e bias dei modelli, oltre che sui rischi potenziali.
La frase viene dall'abstract del paper OpenELM di Apple, citato da Ars Technica. Apple ha anche avvertito che i modelli sono stati addestrati su dataset di origine pubblica. Di conseguenza possono produrre output inaccurati, dannosi, distorti o discutibili. Ars Technica ha riportato che iOS 18, atteso per giugno al WWDC, secondo le voci avrebbe incluso funzioni AI on-device. Apple potrebbe anche ingaggiare Google o OpenAI per l'elaborazione più pesante fuori dal dispositivo.
Benchmark su un telefono, e un filtro per il feed
Un paper su arXiv di novembre 2024, firmato tra gli altri da Thang M. Pham, ha presentato SlimLM, una serie di modelli ottimizzati per l'assistenza sui documenti da mobile. Gli autori hanno fatto esperimenti su un Samsung Galaxy S24. Hanno cercato i compromessi tra dimensione del modello, da 125.000.000 a 7.000.000.000 di parametri, lunghezza del contesto e tempo di inferenza. SlimLM è stato pre-addestrato su SlimPajama-627.000.000.000 e messo a punto su DocAssist, un dataset costruito dagli autori per riassunti, risposta a domande e suggerimenti. Hanno rilasciato anche un'applicazione Android.
Bouncer di Imbue affronta il problema da un'altra angolazione. Pubblicato l'8 aprile 2026 e aggiornato il 25 settembre 2026, filtra un feed X/Twitter a partire da una descrizione in linguaggio naturale. Usa un modello open source che l'azienda chiama Gemma 4 26B-A4B. Imbue dice che per ora serve quel modello dal proprio data centre, mentre lavora per farlo girare direttamente su un laptop o un telefono. Bouncer è disponibile come estensione Chrome, componente aggiuntivo Firefox e app per iPhone. Il supporto per Reddit, LinkedIn e Safari è indicato come in arrivo.
Needle 3 di Cactus Compute, pubblicato il 18 settembre 2026, scende ancora più in basso. L'azienda descrive modelli a scalini da 29-121.000.000 di parametri che producono binari CQ2-bit da 9 a 29 MB. Cita velocità da 400 a 4.000 token al secondo in decode e da 1 a 10.000 token al secondo in prefill su un Raspberry Pi 5. Cactus sostiene che la sotto-rete a 4 layer possa eguagliare DeepSeek V4 Flash quando viene messa a punto su task downstream per un'epoca.
Needle 3 punta su tool call, estrazione strutturata ed embedding di testo. I casi d'uso citati coprono case intelligenti, robot, telefoni, dispositivi indossabili, occhiali AR, auto e PC. Ogni risposta porta un punteggio di confidenza da una testa calibrata. Il motore applica una soglia minima di 0,1, sotto la quale le chiamate vengono trattenute in un campo suppressed_calls.
Un risultato di ricerca va contro l'entusiasmo. Un paper inviato il 21 luglio 2026 da Prashant Mudgal ha scoperto che l'entropia a livello di token è di fatto cieca nei modelli sotto i 3.000.000.000 di parametri. Nel 91 per cento delle combinazioni dataset-modello, l'entropia media dei token era vicina a zero indipendentemente dalla correttezza della risposta. L'entropia semantica, calcolata campionando più risposte e raggruppandole per significato, recuperava un segnale utilizzabile. Instradare le query incerte verso un modello esperto più grande migliorava l'accuratezza fino a 50 punti percentuali. Il routing tra famiglie diverse ha fatto segnare in media +22,0 per cento contro +6,8 per cento del routing nella stessa famiglia.
L'inquadramento del paper è diretto su cosa significa per l'inferenza locale. Il valore dei metodi basati sull'entropia nei modelli piccoli non sta nel risparmio computazionale, sostiene, ma nell'allocazione intelligente della potenza di calcolo: spendere più token dove contano di più. Per ora la proposta dell'AI on-device resta appesa a privacy, latenza e costo. La questione più difficile, l'affidabilità, è ancora aperta.
Fonti
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
- 06Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 FlashEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.