Google porta l'AI Edge on-device su Gemma 3n e aggiunge RAG e function calling
Google ha annunciato il 20 maggio che il suo stack AI Edge supporta ora più di una dozzina di piccoli modelli linguistici on-device, inclusa un'anteprima di Gemma 3n, il suo primo piccolo modello multimodale per smartphone.

Google ha pubblicato i dettagli sul blog per sviluppatori, insieme a due nuove librerie: una per la Retrieval Augmented Generation (RAG) on-device e una per il function calling. Entrambe arrivano prima su Android, le altre piattaforme seguiranno.
Secondo Google i piccoli modelli linguistici (SLM) hanno superato la fase della demo. Il post, firmato dal senior product manager Mark Sherwood e da quattro ingegneri, descrive tecnici sul campo che fotografano un pezzo senza connessione, addetti di magazzino che aggiornano l'inventario a voce e un'app medica che trasforma la storia clinica dettata in campi modulo compilati. Ogni esempio presuppone che il modello giri in locale, senza andata e ritorno verso un server. I numeri che Google fornisce sono precisi. Gemma 3 1B, presentato all'inizio dell'anno, pesa 529MB e arriva a 2.585 token al secondo in pre-fill su una GPU mobile. Secondo l'azienda basta a elaborare una pagina di contenuti in meno di un secondo.
Il suo ingombro ridotto mantiene ampia la copertura dei dispositivi e limita il download che un'app impone all'utente.
Il più recente Gemma 3n arriva come anteprima in varianti da 2.000.000.000 e 4.000.000.000 di parametri, entrambe native per testo, immagini, video e audio. Per ora su Hugging Face ci sono solo testo e immagini; l'audio seguirà. Google segnala anche nuovi schemi di quantizzazione che riducono le dimensioni del modello di un fattore da 2,5 a 4 volte rispetto a bf16, abbassando al contempo la latenza e il picco di memoria usata.
Apple e altri girano intorno allo stesso problema
Google non è la prima. Ars Technica ha riferito il 25 aprile 2024 che Apple ha rilasciato otto modelli con codice sorgente disponibile con il nome OpenELM, da 270.000.000 a 3.000.000.000 di parametri, abbastanza piccoli da girare su uno smartphone. Apple ha pubblicato i pesi dei modelli, il codice di addestramento e ricette riproducibili, anche se la Apple Sample Code License contiene restrizioni che potrebbero non soddisfare una definizione rigorosa di open source. Il white paper di Apple rivendicava un miglioramento di accuratezza del 2,36 percento rispetto a OLMo 1B di Allen AI usando metà dei token di pre-training, grazie a quella che chiama strategia di scaling layer-wise. Per dare la scala, Ars Technica notava che il modello Llama 3 più grande di Meta all'epoca aveva 70.000.000.000 di parametri e che GPT-3 di OpenAI del 2020 arrivava con 175.000.000.000. Un modello da 529MB è un oggetto di categoria del tutto diversa.
La riproducibilità e la trasparenza dei grandi modelli linguistici sono cruciali per far avanzare la ricerca aperta, garantire l'attendibilità dei risultati e consentire indagini su dati e bias dei modelli, oltre che sui potenziali rischi.
È l'abstract del paper OpenELM di Apple. L'azienda avvertiva anche che i modelli addestrati su dataset pubblici possono produrre output inaccurati, dannosi, distorti o discutibili.
Cosa dice la ricerca sui limiti
Un paper su arXiv del novembre 2024 ha presentato SlimLM, una serie di modelli da 125.000.000 a 7.000.000.000 di parametri ottimizzati per l'assistenza sui documenti su un Samsung Galaxy S24. Gli autori riportano prestazioni comparabili o superiori rispetto ai piccoli modelli esistenti e hanno rilasciato un'app Android. Osservano che l'elaborazione on-device può ridurre i costi dei server e migliorare la privacy. La premessa del paper è che le prestazioni reali su smartphone restano poco esplorate.
C'è anche un risultato meno comodo. Un altro paper su arXiv, di Prashant Mudgal, ha testato sette approcci alla confidenza su 7 coppie di modelli e 5 benchmark. Ha scoperto che l'entropia a livello di token è di fatto cieca nei modelli sotto i 3.000.000.000 di parametri: nel 91 percento delle combinazioni dataset-modello, l'entropia media dei token restava vicina a zero indipendentemente dalla correttezza della risposta. L'entropia semantica, calcolata campionando più risposte e raggruppandole per significato, recuperava un segnale utilizzabile. Inviare le query incerte a un modello esperto più grande migliorava l'accuratezza fino a 50 punti percentuali. Il routing tra famiglie diverse faceva segnare in media +22,0 percento contro +6,8 percento del routing nella stessa famiglia.
La libreria di function calling di Google fa una concessione simile nella pratica. Il blog nota che può essere abbinata a una libreria Python di simulazione di tool che genera dati sintetici per migliorare l'accuratezza del function calling. È un'ammissione che i piccoli modelli hanno bisogno di aiuto prima di potersi fidare di loro per agire.
Google non ha detto quando Gemma 3n uscirà dall'anteprima, né quali piattaforme raggiungeranno poi le librerie RAG e function calling.
Fonti
4- 01On-device small language models with multimodality, RAG, and Function CallingEN
- 02Apple releases eight small AI language models aimed at on-device useEN
- 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 04Do small language models know what they don't know?EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.