Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

OpenELM di Apple e Gemma 3n di Google portano i modelli piccoli sui telefoni

Ad aprile 2024 Apple ha pubblicato otto modelli linguistici piccoli che girano su uno smartphone, il più piccolo da 270.000.000 di parametri, mentre Google distribuisce ora Gemma 3n come anteprima per testo, immagini, video e audio sul dispositivo.

IA e modelliNotiziaChiara RomanoPubblicato: 28 settembre 20263 min di letturaFonti 2
OpenELM di Apple e Gemma 3n di Google portano i modelli piccoli sui telefoni

L'idea dietro i modelli linguistici piccoli è semplice: tenere l'inferenza sul dispositivo, evitare il viaggio di andata e ritorno verso un data centre e lasciare i dati dell'utente dove sono.

Due rilasci mostrano quanto si sia passati dalla demo di ricerca agli strumenti per sviluppatori. Il 24 aprile 2024 Apple ha presentato OpenELM, un insieme di otto modelli pubblicati su Hugging Face con licenza Apple Sample Code License, come ha riportato Ars Technica. Vanno da 270.000.000 a 3.000.000.000 di parametri, divisi in quattro versioni pre-addestrate e quattro ottimizzate per le istruzioni. Ars Technica ha osservato che la licenza contiene restrizioni, quindi il rilascio potrebbe non rientrare nella definizione abituale di open source, anche se il codice sorgente è disponibile. I modelli usano una finestra di contesto di 2.048 token e sono stati addestrati su RefinedWeb, una versione deduplicata di PILE, un sottoinsieme di RedPajama e un sottoinsieme di Dolma v1.6, per un totale che Apple indica in circa 1.800.000.000.000 di token. Apple ha pubblicato anche il codice di CoreNet, la libreria usata per addestrarli, insieme alle ricette di addestramento riproducibili.

Cosa dicono i numeri

Il conteggio dei parametri è il tabellone più grezzo. Il più piccolo OpenELM di Apple è circa 14 volte più piccolo di Phi-3-mini di Microsoft, da 3.800.000.000 di parametri, di cui Ars Technica aveva parlato il giorno prima.

Il più grande modello Llama 3 pubblicato da Meta ha 70.000.000.000 di parametri, con una versione da 400.000.000.000 in lavorazione, e GPT-3 di OpenAI del 2020 arrivava a 175.000.000.000. Il white paper di Apple dichiara un miglioramento di accuratezza del 2,36 per cento rispetto a OLMo 1B di Allen AI usando metà dei token di pre-addestramento. È un benchmark dichiarato dall'azienda su un solo confronto, non una prova indipendente, e Ars Technica lo ha riportato come un dato del paper. Apple avverte anche che, poiché i dati di addestramento provengono da fonti pubbliche, i modelli possono produrre output imprecisi, dannosi, distorti o sgradevoli.

"La riproducibilità e la trasparenza dei modelli linguistici di grandi dimensioni sono cruciali per far avanzare la ricerca aperta, garantire l'affidabilità dei risultati e permettere indagini sui pregiudizi nei dati e nei modelli, oltre che sui rischi potenziali."

La frase viene dall'abstract del paper OpenELM di Apple, citato da Ars Technica. L'azienda dice che il rilascio vuole dare strumenti e sostanza alla comunità della ricerca aperta. Non ha messo questa generazione di modelli nei suoi dispositivi di consumo, e Ars Technica ha riportato che iOS 18, atteso per la presentazione a giugno al WWDC, secondo le voci avrebbe portato funzioni di intelligenza artificiale sul dispositivo, con la possibilità che Apple ingaggiasse Google o OpenAI per l'elaborazione più pesante.

Google allarga la cassetta degli attrezzi

Il team AI Edge di Google ha seguito un'altra strada. In un post datato 20 maggio 2025 ha detto di aver esteso il supporto sul dispositivo da quattro modelli iniziali a più di una dozzina, tra cui Gemma 3 e Gemma 3n, ospitati su una community LiteRT di Hugging Face.

Gemma 3 1B pesa 529MB e può arrivare a 2.585 token al secondo in pre-fill su una GPU mobile, una velocità che secondo Google basta a elaborare una pagina di contenuti in meno di un secondo. Gemma 3n arriva come anteprima, con varianti da 2.000.000.000 e 4.000.000.000 di parametri che supportano input testuali, immagini, video e audio; testo e immagini sono su Hugging Face, l'audio seguirà. L'azienda ha pubblicato anche una libreria per la generazione aumentata dal recupero e una per la chiamata di funzioni, entrambe disponibili prima su Android, così un modello sul dispositivo può recuperare il contesto utile da mille pagine o foto e attivare funzioni dell'app partendo dal linguaggio naturale.

Su tutto questo pesa un'avvertenza. La guida alla quantizzazione di Google dice che int4 può ridurre le dimensioni di un modello da 2,5 a 4 volte rispetto a bf16, abbassando latenza e memoria di picco, e che lo scambio non è gratis: una precisione più bassa costa un po' di accuratezza, ed è la manopola che ogni distribuzione sul dispositivo deve regolare.

Commenti 0

Fonti

2
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02On-device small language models with multimodality, RAG, and Function CallingEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.