Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I benchmark sulle allucinazioni si affinano mentre Gemini 4 Argon arriva a pochi selezionati

Mercoledì 30 settembre Google ha iniziato a distribuire Gemini 4 Argon, il suo modello più potente fino a oggi, a un gruppo selezionato di esperti di cybersicurezza. L'azienda tiene il modello lontano dal pubblico per timori legati all'uso improprio.

IA e modelliAnalisiGiulia FerrariPubblicato: 2 ottobre 20268 min di letturaFonti 13
I benchmark sulle allucinazioni si affinano mentre Gemini 4 Argon arriva a pochi selezionati

Mercoledì 30 settembre Google ha iniziato a distribuire Gemini 4 Argon, il suo modello più potente fino a oggi, a un gruppo selezionato di esperti di cybersicurezza. L'azienda tiene il modello lontano dal pubblico per timori legati all'uso improprio. In un post sul blog ha dichiarato di dare al governo statunitense un accesso anticipato su base volontaria. Raccolglierà i riscontri dei tester prima di un'adozione più ampia, secondo The Guardian.

Questa prudenza stona con le affermazioni che Google fa sul modello. Nel blog di lancio, citato da TechCrunch, l'azienda ha dichiarato che Argon ha ottenuto punteggi molto più alti di GPT-6 Astra di OpenAI e di Fable e Opus di Anthropic su diversi benchmark per l'IA, citando la startup di benchmarking Vals. Ha anche affermato che Argon è in grado di individuare, validare e correggere in autonomia vulnerabilità critiche nei software. Sono rivendicazioni di capacità, non di affidabilità. Le due cose non coincidono.

È qui che entra in gioco la questione delle allucinazioni. Un modello che ottiene buoni risultati nei benchmark di ragionamento o di programmazione può comunque produrre risposte sbagliate con tono sicuro. Il materiale più recente vicino al tema delle allucinazioni punta in entrambe le direzioni. Un audit controllato delle metriche di conflitto di gradiente nei modelli multimodali unificati, inviato ad arXiv il 29 settembre, è il più interessante tra i paper recenti. Verifica se una metrica proxy molto usata predice davvero ciò che i ricercatori presumono che predica. Scopre che non lo fa.

Gli autori hanno costruito un banco di prova chiamato GRIDUMM che riproduce gli ingredienti strutturali chiave dell'addestramento dei modelli multimodali unificati. Rende esattamente calcolabile il compromesso di riferimento tra comprensione e generazione. Su 63 configurazioni e 372 checkpoint misurati, nessuna metrica di conflitto direzionale ha raggiunto una correlazione di Spearman assoluta di 0,3 con un intervallo di confidenza che escluda lo zero. Un intervento dose-risposta che sopprime monotonicamente il conflitto ha lasciato il compromesso piatto, separando la correlazione dalla causalità. Le misure di interferenza funzionale hanno superato le metriche di conflitto direzionale, e la perdita di addestramento ha seguito con forza il compromesso. Gli autori non sostengono che il conflitto sia inutile. Sostengono che la sua validità come obiettivo diagnostico vada dimostrata, non presunta.

È un risultato ristretto su una classe ristretta di modelli. È anche il tipo di scoperta che dovrebbe far fermare chiunque legga una classifica.

Cosa misurano davvero i benchmark più recenti

Altri due paper arXiv pubblicati nella stessa finestra adottano una linea altrettanto scettica. ChartDensity-Bench, inviato il 30 settembre, valuta i modelli linguistici multimodali di grandi dimensioni sulla ricostruzione di dati numerici da grafici scientifici in condizioni di densità visiva controllata. Varia il numero di grafici mostrati contemporaneamente su k pari a 1, 3, 6 e 9. Gli esperimenti su cinque MLLM recenti mostrano che la ricostruzione numerica peggiora all'aumentare della densità visiva. L'entità di quel peggioramento varia sensibilmente da modello a modello. I confronti appaiati a livello di grafico del paper hanno rilevato che lo stesso grafico di origine può comportare un errore di ricostruzione più alto quando è inserito in un contesto visivo più denso. È una modalità di errore vicina alle allucinazioni, con una misurazione pulita. Il modello non si rifiuta. Produce numeri.

Un terzo paper, Reverse Scoring for Diffusion Language Model Agents, inviato il 29 settembre, traccia un guasto specifico negli agenti basati su modelli linguistici a diffusione. Finiscono in cicli di tentativi, riproponendo un'azione molto tempo dopo che è fallita. Gli autori attribuiscono il problema alla decodifica mascherata, che fissa le posizioni di cui è più sicura e rimanda quelle incerte. In uno stato di errore, il contesto offre già un riempimento sicuro per la decisione rimandata, cioè l'azione fallita stessa. Modellano la distorsione come una corruzione cieca al compito. Propongono un rimedio senza addestramento chiamato Reflect Reverse, che valutano su quattro benchmark incarnati multi-turno.

C'è uno schema comune a questi tre paper. Ognuno isola un modo specifico in cui un modello può sbagliare con sicurezza, lo misura in condizioni controllate e scopre che la metrica proxy più diffusa non segue il risultato. Nessuno offre un punteggio generale delle allucinazioni. Tutti suggeriscono che i punteggi generali delle allucinazioni facciano meno di quanto i loro editori lascino intendere.

Per capire quanto un benchmark possa spostare la conversazione, guarda lo spazio dei modelli decisionali. InfoQ ha riportato che TypeSafe AI ha rilasciato Jev, che non genera affatto testo ma restituisce decisioni probabilistiche tipizzate con un valore di confidenza. Il codice chiamante può agire sopra una soglia e passare la palla sotto di essa. L'input costa 0,042 dollari per 2.000.000.000 di token, l'output è gratuito, la finestra di contesto è di 32.000 token e TypeSafe dichiara una latenza end-to-end da 70 ms a 500 ms. Vercel ha aggiunto Jev ad AI Gateway il secondo giorno. Ha dichiarato che il modello ha raggiunto quasi il 13% dei team a pagamento entro 24 ore, il doppio della quota della famiglia GPT-5.6.

Amazon ha seguito. TechCrunch ha riportato il 1 ottobre che AWS ha rilasciato Strands Decider 2B, un modello decisionale open source ispirato a Jev, costruito sul torso di Qwen3.5-2B. Sceglie tra opzioni predecise e restituisce una misura di confidenza. Marc Brooker, distinguished engineer di Amazon, ha detto a TechCrunch che il modello ha brevemente raggiunto la vetta della classifica Jevbench per i modelli della sua dimensione. Ha detto che il fascino sta in un passaggio del flusso di lavoro più affidabile grazie ai punteggi di confidenza e a un dominio chiuso di risposte, con latenza più bassa e costi potenzialmente inferiori.

Il fondatore di TypeSafe, Diogo Almeida, è stato schietto sull'affollamento. "Capisco che la gente pensi che sia una corsa all'oro, ma forse sottovaluta la difficoltà di rendere i modelli davvero intelligenti", ha detto a TechCrunch. L'ondata attuale, ha aggiunto, "sembra più" una serie di imitatori. Che sia vero o no, la direzione è chiara: alcuni sviluppatori rispondono al problema dell'affidabilità restringendo lo spazio di output invece di promettere un modello generale migliore.

L'argomento della sicurezza arriva prima delle prove

La motivazione di Google per limitare Argon è che una capacità di frontiera a questo livello richiede un approccio per fasi. Koray Kavukcuoglu, chief AI architect di Google, lo ha scritto nel post del blog che annuncia il modello. Google ha dichiarato che Argon è progettato per rifiutare richieste che potrebbero aiutare a condurre attacchi informatici o a sviluppare armi chimiche, biologiche o nucleari. Monitora anche il ragionamento del modello per impedirgli di deviare oltre ciò che gli utenti intendevano, un rischio che i ricercatori chiamano disallineamento.

The Guardian ha riportato che il rilascio prudente ricalca Anthropic, che ha mantenuto Claude Mythos Preview riservato a un piccolo numero di organizzazioni fidate. Washington ha brevemente costretto Anthropic a sospendere l'accesso ai suoi modelli Claude Mythos e Claude Fable, già rilasciati al pubblico, a giugno. Da allora ha istituito un processo volontario per verificare i modelli di IA più potenti prima del rilascio. L'annuncio è arrivato un giorno dopo che Donald Trump ha ospitato alla Casa Bianca i vertici delle principali aziende tecnologiche, tra cui Sundar Pichai e Dario Amodei di Anthropic. Lì hanno firmato un accordo volontario con cui si impegnano a controllare i rischi dei propri sistemi di IA.

Google ha dichiarato che i primi tester hanno usato Argon per scoprire una falla in un software usato da ospedali di tutto il mondo, che esponeva informazioni personali sensibili. Altri modelli avanzati l'avevano mancata. È un aneddoto, fornito dal fornitore, su un modello non in circolazione generale. Va trattato come una rivendicazione di capacità fatta da una parte interessata.

La battaglia sulla provenienza corre in parallelo. CNBC ha riportato che OpenAI ha dichiarato di aver individuato e interrotto una campagna coordinata per estrarre il ragionamento protetto dai suoi modelli. Ha collegato un nucleo centrale dell'attività alla startup cinese Moonshot AI. L'attività è iniziata all'inizio di luglio ed è salita a 16.000 richieste da più di 4.000 utenti in due giorni, con attività correlate su più di 15.000 utenti. OpenAI ha dichiarato che gli operatori non hanno violato la sua crittografia, i suoi database o le conversazioni degli utenti memorizzate. Ha dichiarato di aver interrotto completamente la campagna entro il 28 luglio.

The Register ha notato l'imbarazzo della denuncia, vista la storia di OpenAI nell'addestramento su dati web. Ha riportato che The Register ha chiesto a OpenAI quali dei suoi modelli fossero presi di mira a luglio e non ha ricevuto risposta. Ha anche riportato che Michael Kratsios, Assistant for Science and Technology di Trump, ha accusato Moonshot AI a fine luglio di aver creato il suo modello Kimi K3 distillando Fable di Anthropic. Claude Opus 5.5 di Anthropic, rilasciato una settimana prima di quel resoconto, arriva con una difesa contro la distillazione chiamata preserved thinking, introdotta con Fable 5.1.

Moonshot non ha risposto immediatamente alle richieste di commento di CNBC, e The Register ha detto di non aver ricevuto nemmeno lui una risposta immediata. Quindi l'accusa centrale resta a senso unico nel registro pubblico.

L'altro filo da seguire è da dove vengono i dati di addestramento e a quali condizioni. The Guardian ha riportato il 1 ottobre che Anthropic ha esortato il governo Albanese a considerare un'approvazione condizionata per l'addestramento su opere australiane protette da copyright secondo un modello opt-out. Ha ammesso che non otterrebbe un'esenzione generale dal copyright. ABC e SBS hanno replicato nelle memorie presentate a un'inchiesta parlamentare federale. ABC ha avvertito di una cannibalizzazione dell'industria giornalistica australiana, e entrambe le emittenti hanno suggerito di includere le aziende di IA nell'incentivo alla contrattazione sulle notizie.

La memoria di Anthropic sosteneva che la tecnologia potrebbe trasformare l'economia australiana. Avvertiva anche di gravi implicazioni per la sicurezza nazionale, la resilienza delle infrastrutture critiche e la sicurezza pubblica. La commissione congiunta ristretta sull'IA tiene audizioni a Sydney la prossima settimana, con la presenza prevista di dirigenti di Anthropic e OpenAI.

Niente di tutto questo stabilisce se un dato modello sia affidabile. Suggerisce però che il settore stia ormai distribuendo rivendicazioni di affidabilità più in fretta di quanto distribuisca modi per verificarle. I controlli che esistono tendono a essere ristretti, controllati e poco lusinghieri per le metriche proxy che tutti citano.

Commenti 0

Fonti

13
  1. 01Google rolls out new Gemini AI model but restricts access over safety concernsEN
  2. 02Google releases Gemini 4 Argon, called its most powerful model yetEN
  3. 03Does Gradient Conflict Predict the Understanding-Generation Trade-off? A Controlled Audit of Conflict-Metric Validity in Unified Multimodal ModelsEN
  4. 04ChartDensity-Bench: Benchmarking MLLMs for Numerical Data Reconstruction under Visual DensityEN
  5. 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
  6. 06TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
  7. 07Amazon releases its own Jev clone as decision models flood the webEN
  8. 08AI race heats up as OpenAI flags alleged model-copying campaignEN
  9. 09Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
  10. 10Anthropic pushes for opt-out model for Australian content as ABC warns of 'cannibalisation' of newsEN
  11. 11Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
  12. 12Ideogram says its new model can edit part of an image without messing up the restEN
  13. 13ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.