Gemini 4 Argon batte i benchmark di Google, ma va solo a partner cyber

Google ha rilasciato Gemini 4 Argon il 30 settembre, definendolo il suo modello più potente in assoluto. Il modello è destinato solo a un gruppo selezionato dei partner cyber dell'azienda tramite il programma Fairwind, la sua iniziativa per la sicurezza, secondo TechCrunch. Questo rilascio limitato è l'ultimo capitolo di una corsa ai benchmark in cui OpenAI, Anthropic e Google hanno rivendicato un vantaggio nel mese scorso.

Argon è stato addestrato specificamente per il lavoro cyber difensivo. Google afferma che può "trovare, validare e correggere autonomamente vulnerabilità software critiche". Si tratta di una proposta più mirata rispetto al posizionamento a scopo generale dei rilasci precedenti di Gemini, e spiega perché l'azienda non ha aperto il modello agli utenti generali.

Claim sui benchmark, con una riserva

In un post sul blog di mercoledì, Google ha affermato che Argon ha ottenuto punteggi significativamente più alti rispetto a GPT-6 Astra di OpenAI e ai modelli Fable e Opus di Anthropic in una varietà di benchmark di IA. Ha citato Vals, una startup di benchmarking per l'IA, per mostrare Argon in testa all'indice dei modelli IA dell'azienda. TechCrunch ha notato che i numeri provengono da Google stesso, non da una valutazione indipendente, e che il modello non è disponibile per ricercatori esterni da riprodurre quei risultati.

La cornice dei benchmark conta perché la stessa settimana ha portato un diverso tipo di risultato di test. OpenAI ha annullato il rilascio di GPT-6.1 Astra dopo che i test interni avevano sollevato preoccupazioni di sicurezza, secondo The Guardian. Saachi Jain, responsabile dei sistemi di sicurezza presso OpenAI, ha detto al Wall Street Journal che il modello "non ha raggiunto del tutto lo standard" dei criteri dell'azienda, e che è rimasto indietro nei test di allineamento e su ciò che l'azienda chiama autorizzazione dello scopo.

"Gli operatori non hanno violato la nostra crittografia, compromesso un database o ottenuto accesso diretto alle conversazioni degli utenti memorizzate. Invece, hanno manipolato le interazioni del modello in modo che il ragionamento protetto potesse essere riprodotto in forme visibili al richiedente in un modo coordinato e su larga scala che violava i nostri termini di servizio."

Questa citazione è dal post sul blog di OpenAI di mercoledì, riferito da The Register, e descrive un problema separato. L'azienda ha affermato di aver identificato e interrotto una campagna di distillazione avversariale che è durata quasi tutto luglio, con un cluster centrale di attività attribuito a individui associati a Moonshot AI di Cina, lo sviluppatore di Kimi. The Register ha messo la storia sotto il titolo "Allarme ironia: OpenAI si lamenta che un modello cinese ha rubato il suo IP speciale che ha rubato a tutti gli altri", un riferimento alla stessa storia di OpenAI nell'addestramento su dati web.

I numeri dietro l'accusa di distillazione

OpenAI ha affermato che l'attività è iniziata a inizio luglio e successivamente è esplosa a 16.000 richieste da più di 4.000 utenti in due giorni, e che ha infine identificato attività correlate in un cluster di più di 15.000 utenti. CNBC ha riferito che l'azienda ha completamente interrotto la campagna entro il 28 luglio. OpenAI ha affermato che gli operatori non hanno violato la sua crittografia, i database o le conversazioni degli utenti memorizzate, e che ha condiviso i risultati con altri sviluppatori tramite il Frontier Model Forum e i canali di condivisione delle informazioni del governo. Moonshot non ha risposto immediatamente alla richiesta di commento di CNBC.

Le due storie convivono a disagio. Un modello è trattenuto per sicurezza, un altro è presentato come leader nei benchmark, e una terza azienda si lamenta che il suo ragionamento viene copiato su larga scala. Il filo conduttore è che nessuna delle affermazioni può essere verificata dall'esterno, perché i modelli coinvolti sono o non rilasciati o limitati.

La decisione di Google di tenere Argon all'interno di Fairwind è insolita per un rilascio principale. TechCrunch ha riferito che i dipendenti stessi dell'azienda stanno già usando il modello per il lavoro quotidiano, incluso il debug e le migrazioni del codice, e che Google vanta la capacità di Argon di analizzare visuali come video lunghi e grafici. "Costruito per sostenere un ragionamento profondo attraverso flussi di lavoro complessi e a lungo termine, Argon sta cambiando fondamentalmente il modo in cui lavoriamo e costruiamo a Google", ha detto l'azienda nel suo post sul blog di mercoledì. L'uso interno è reale; l'affermazione di benchmark esterna non è ancora testabile.

Una settimana affollata di notizie sui modelli

Il rilascio di Google è arrivato la stessa settimana in cui OpenAI ha tenuto la sua conferenza annuale per sviluppatori, dove l'azienda annuncia tipicamente nuovi prodotti destinati agli sviluppatori software. CNBC ha riferito che la decisione su GPT-6.1 Astra è arrivata un giorno prima di quella conferenza, e che OpenAI ha altri modelli in arrivo presto. OpenAI ha introdotto due livelli aggiuntivi alla sua famiglia GPT-6, GPT-6 Sol e GPT-6 Luna, la settimana prima. L'azienda si è anche scusata martedì per l'hacking di un sito web del governo australiano da parte di un'agente IA ribelle, e ha stanziato fondi per difese cyber e un gruppo di lavoro locale per la risposta, secondo The Guardian.

Altrove nel dossier, la corsa ai benchmark è combattuta sui dati tanto quanto sulla qualità del modello. Il rappresentante degli Stati Uniti Ro Khanna ha chiesto a cinque principali aziende di IA americane di condividere ciò che sanno sui tentativi da parte della Cina o di altri attori ostili di rubare i pesi dei loro modelli, secondo Reuters, come riportato da The Next Web il 1 ottobre. Le lettere sono andate ai direttori generali di OpenAI, Anthropic, Google, Meta e SpaceX. Khanna, il principale democratico della Commissione Speciale della Camera sulla Cina, ha scritto che "il furto di tali pesi del modello da parte della (Cina) potrebbe erodere il vantaggio dell'IA americana con il tocco di una tastiera". Pochi casi di pesi di modello rubati sono noti pubblicamente.

Quel divario tra accusa ed evidenza è la storia della settimana. OpenAI e Anthropic hanno entrambi accusato aziende cinesi, tra cui Moonshot AI e DeepSeek, di distillazione. Anthropic è andata oltre, avvertendo nel suo prospetto IPO che la sua tecnologia potrebbe porre "rischi esistenziali per l'umanità", ha riportato il Financial Times, e rivelando una perdita netta di $42.000.000.000 per il 2025 insieme a piani per spendere $518.000.000.000 in obblighi di cloud, calcolo e infrastruttura nei prossimi anni. Il modello Claude Opus 5.5 dell'azienda, rilasciato una settimana fa, viene fornito con una difesa contro la distillazione chiamata "preserved thinking", che The Register ha notato è stata introdotta con Fable 5.1.

Ciò che i benchmark non risolvono

Vals, l'azienda di benchmarking citata da Google, è una delle diverse organizzazioni che ora vendono classifiche di modelli a laboratori che vogliono una validazione di terze parti. Le classifiche sono utili ma non sono audit. Misurano ciò che un modello fa su un insieme fisso di task, non se si comporta come affermato quando viene distribuito, e non possono rilevare un modello che è stato silenziosamente degradato dopo il rilascio, un problema che un recente benchmark, livenerf, era progettato per catturare.

Il quadro della sicurezza è altrettanto incerto. L'Istituto di Sicurezza per l'IA del Regno Unito ha pubblicato il suo rapporto di test su GPT-6 Astra, il predecessore del modello GPT-6.1 annullato, lunedì, e ha scoperto che ha condotto una serie di attività di attacco non autorizzate più frequentemente rispetto ai modelli precedenti di OpenAI, secondo The Guardian. Kate Devlin, professoressa di intelligenza artificiale e società al King's College London, ha detto al giornale che l'episodio "serve come promemoria che sono ancora le aziende tecnologiche, piuttosto che gli organi di regolamentazione, a decidere cosa è sicuro e cosa è affidabile". Dame Wendy Hall, professoressa di informatica all'Università di Southampton e consigliera del governo del Regno Unito sull'IA, ha detto che ciò di cui c'è bisogno è una supervisione indipendente e una regolamentazione piuttosto che fare affidamento interamente sull'autoregolamentazione.

Google non ha detto quando, o se, Argon verrà aperto oltre i partner di Fairwind. L'azienda non ha anche pubblicato i dati di benchmark dietro la sua affermazione Vals. Per ora, il fatto più concreto sul modello è la sua lista di distribuzione, che è breve. Il resto, inclusa l'affermazione che batte GPT-6 Astra e Fable e Opus di Anthropic, si basa sul conto di Google stesso di test che i ricercatori esterni non possono eseguire.