Google espande AI Edge con Gemma 3n, aggiunge RAG e function calling

Google ha pubblicato i dettagli sul blog per sviluppatori, insieme a due nuove librerie: una per la Generazione Aumentata da Recupero (RAG) on-device e una per il function calling. Entrambe arriveranno prima su Android, con le altre piattaforme in seguito.

Secondo Google, i piccoli modelli linguistici (SLM) hanno superato la fase di demo. Il blog, scritto dal senior product manager Mark Sherwood e da quattro ingegneri, descrive tecnici di campo che fotografano un pezzo senza connessione, addetti al magazzino che aggiornano l'inventario via voce e un'app medica che trasforma la storia clinica dettata in campi compilati. Ogni esempio presuppone che il modello funzioni localmente, senza andata e ritorno verso un server. I numeri forniti da Google sono specifici. Gemma 3 1B, introdotto all'inizio di quest'anno, occupa 529 MB e raggiunge fino a 2.585 token al secondo nel pre-fill su una GPU mobile. Secondo l'azienda, è sufficiente per elaborare una pagina di contenuti in meno di un secondo.

La sua piccola impronta mantiene ampia la copertura dei dispositivi e limita il download che un'applica forza all'utente.

Il più recente Gemma 3n arriva come anteprima iniziale in varianti da 2B e 4B parametri, entrambi nativi per testo, immagine, video e audio. Per ora su Hugging Face sono disponibili solo testo e immagine; l'audio seguirà. Google indica anche nuovi schemi di quantizzazione che riducono la dimensione del modello di un fattore da 2,5 a 4 volte rispetto a bf16, riducendo al contempo latenza e uso di memoria di picco.

Apple e altri stanno affrontando lo stesso problema

Google non è il primo. Ars Technica ha riferito il 25 aprile 2024 che Apple ha rilasciato otto modelli con codice sorgente disponibile sotto il nome OpenELM, da 270.000.000 a 3.000.000.000 di parametri, abbastanza piccoli da funzionare su uno smartphone. Apple ha pubblicato i pesi dei modelli, il codice di addestramento e ricette riproducibili, sebbene la Apple Sample Code License contenga restrizioni che potrebbero non soddisfare una definizione rigorosa di open source. Il white paper di Apple ha dichiarato un miglioramento dell'accuratezza del 2,36% rispetto a OLMo 1B di Allen AI, utilizzando la metà dei token di pre-addestramento, grazie a ciò che ha chiamato una strategia di scaling a livello di layer. Per dare una scala, Ars Technica ha notato che il modello Llama 3 più grande di Meta all'epoca contava 70.000.000.000 di parametri e GPT-3 di OpenAI del 2020 ne aveva 175.000.000.000. Un modello da 529 MB è un oggetto di una categoria interamente diversa.

La riproducibilità e la trasparenza dei grandi modelli linguistici sono cruciali per avanzare la ricerca aperta, garantire l'affidabilità dei risultati e consentire indagini su bias nei dati e nei modelli, nonché sui potenziali rischi.

Queste sono le parole dell'abstract del paper di Apple su OpenELM. L'azienda ha anche avvertito che i modelli addestrati su dataset pubblici possono produrre output imprecisi, dannosi, biasati o offensivi.

Cosa dicono le ricerche sui limiti

Un paper di novembre 2024 su arXiv ha introdotto SlimLM, una serie di modelli da 125M a 7B parametri ottimizzati per l'assistenza documentale su Samsung Galaxy S24. I suoi autori hanno riportato prestazioni comparabili o superiori rispetto ai piccoli modelli esistenti e hanno rilasciato un'app Android, notando al contempo che l'elaborazione on-device può ridurre i costi del server e migliorare la privacy. La stessa impostazione del paper afferma che le prestazioni reali sui telefoni restano sottovalutate.

C'è anche un risultato più scomodo. Un altro paper su arXiv di Prashant Mudgal ha testato sette approcci di confidenza su 7 coppie di modelli e 5 benchmark, trovando che l'entropia a livello di token è praticamente cieca nei modelli sotto i 3 miliardi di parametri: nel 91% delle combinazioni dataset-modello, l'entropia media dei token restava vicina allo zero indipendentemente da se la risposta fosse corretta. L'entropia semantica, calcolata campionando più risposte e raggruppandole per significato, ha recuperato un segnale utilizzabile. L'instradamento delle query incerte a un modello esperto più grande ha migliorato l'accuratezza fino a 50 punti percentuali, e l'instradamento cross-family ha fatto registrare in media +22,0% contro +6,8% per l'instradamento nella stessa famiglia.

La libreria di function calling di Google fa un'ammissione simile nella pratica. Il blog nota che può essere abbinata a una libreria di simulazione di tool in Python che genera dati sintetici per migliorare l'accuratezza del function calling, il che è un'ammissione che i piccoli modelli hanno bisogno di aiuto prima di poter essere affidati ad agire.

Google non ha detto quando Gemma 3n lascerà la fase di anteprima, né quali piattaforme raggiungeranno successivamente le librerie RAG e function calling.