I modelli video e multimodali open-weight battono i prezzi dei frontier, ma la provenienza resta indietro

Il vantaggio economico dei modelli aperti

Per chi compra, la prima questione è di spesa. Un team pagava un tempo prezzi frontier per ogni attività. Ora può riservare il modello costoso alla decima parte difficile e far girare il resto su pesi che può scaricare. I modelli multimodali più piccoli girano anche sui dispositivi, non solo nel cloud di un fornitore. Questo riduce la latenza e il trasferimento di dati. Lo stack più economico non risolve il problema della provenienza. I pesi aperti sono facili da copiare, rinominare e spacciare per altro. Non esiste uno standard comune di verifica. Regolatori e piattaforme non hanno ancora un modo semplice per legare un output a un modello specifico.

Il nodo è quella decima parte che resta sul modello frontier. Qualcuno deve comunque decidere quali attività ne hanno diritto. Sbagliare una scelta costa meno che rimediare.

Video ed embedding sono i due estremi dello stesso spostamento. Capacità che prima stavano dietro un'API ora arrivano come pesi.

Pika ha rilasciato H3 Flex il 29 ottobre. È un modello di generazione video open-weight per creatori professionisti, sviluppatori e ricercatori. L'azienda ha addestrato MiniMax H3 per generare video in sei passaggi invece di 50. Poi ha rifinito il modello per la qualità visiva e il controllo creativo. Gli adapter del modello sono su Hugging Face. Il codice di inferenza è su GitHub. Pika presenta il modello come strumento per l'iterazione, non per la generazione in un colpo solo. È qui che i secondi risparmiati si sommano.

Pika mette la generazione video in aperto

Pika H3 Flex gestisce text-to-video, image-to-video e generazione basata su riferimenti.

I creatori possono fornire fino a 12 file di riferimento tra immagini, video e audio. Nell'esempio di Pika, un'immagine fissa un personaggio. Una fotografia imposta l'ambiente. Una clip mostra il movimento di camera voluto. Un file audio porta il suono. L'output nativo è 480p e 768p. I servizi ospitati di Pika lo estendono a 1.080p, 2.000 e 4.000. Il video generato porta audio stereo sincronizzato. L'API ospitata espone cinque stem audio separati.

Pika sostiene che una clip di 15 secondi a 768p con audio richieda circa sette secondi di calcolo del transformer in un benchmark controllato. È tempo di calcolo, non tempo end-to-end. Elaborazione dei riferimenti, decodifica, overhead del servizio e finitura ad alta risoluzione si aggiungono tutti all'attesa.

Meno passaggi accorciano il ciclo tra un tentativo e l'altro. I creatori possono provare prompt, movimenti di camera e personaggi con meno attesa tra le iterazioni.

I modelli multimodali più piccoli arrivano sui dispositivi

Il team di EmbeddingGemma di Google ha fatto la scelta opposta sulla dimensione. Il suo EmbeddingGemma 2 da 744.000.000 di parametri codifica testo, immagini, audio, video e combinazioni in un unico spazio di embedding a 768 dimensioni. Il budget si divide tra un backbone di testo da 271.000.000, un encoder visione da 167.000.000 e un encoder audio da 305.000.000. I numeri on-device vengono da un Pixel 11 Pro. La variante quantizzata Q4_C solo testo arriva lì a un picco di 191 MB. Lo stack multimodale completo occupa 567 MB. Il retrieval audio nativo segna 69,54 MRR@10. Il confronto è con 50,95 della precedente pipeline ASR-più-testo EG1 di Google. Il paper sostiene che il modello batte sistemi specialistici e modelli da due a dodici volte più grandi sui benchmark multimodali.

Il Matryoshka Representation Learning permette a chi chiama di troncare l'embedding a 128 dimensioni. Chi lavora solo sul testo può saltare le altre torri.

La dimensione compra portabilità, non ragionamento. I punteggi pubblicati sono benchmark di retrieval, non test di generazione.

Verifica e sicurezza restano indietro rispetto ai rilasci

Anthropic sta costruendo un sistema open source. Servirà a dimostrare quale modello ha prodotto un output.

Un post pubblicato il 3 novembre illustra il sistema, FlashProve. Richiederebbe ai laboratori di pubblicare un'impronta di ogni modello. I laboratori possono poi abbinare quell'impronta agli output e verificarla crittograficamente. Le impronte non rivelano i pesi del modello. I laboratori commerciali potrebbero pubblicarle senza cedere il loro bene più prezioso. Anthropic ha pubblicato la specifica e il codice funzionante su GitHub. Ha anche detto che non ci sono piani per distribuire il sistema presso Anthropic o altri laboratori.

Uno studio dell'Università di Hong Kong dà numeri al divario di sicurezza. Seedance 2.0 Pro di ByteDance è in cima alla classifica di qualità visiva dello studio con 3,84 su 5. Veo 3.1 di Google DeepMind ha segnato 3,47. Sora 2 Pro di OpenAI ha segnato 3,27. Seedance è in testa anche per coerenza visiva, realismo fisico, qualità estetica e rispetto delle istruzioni. Seedance è andato meno bene sulla sicurezza. Lo stesso studio lo colloca sesto su 11 modelli per il blocco dei contenuti dannosi. Zhenhui Jack Jiang ha guidato la ricerca. È professore di innovazione e gestione dell'informazione alla business school dell'università.

Anthropic descrive il lavoro su FlashProve come un progresso intermedio. Chiede ad altri di prenderlo e migliorarlo. Nessun laboratorio si è impegnato a pubblicare le impronte. Non esiste una data di distribuzione.