Gemini 4 Carbon guida il nuovo indice delle allucinazioni, ma il miglior punteggio è solo 54

Il Gemini 4 Carbon di Google è in cima al benchmark AA-Omniscience v1.1, che misura allucinazioni e richiamo delle conoscenze, come ha riportato Tom's Hardware il 3 novembre. Il modello segna anche 59 sull'Intelligence Index V5 di Artificial Analysis. Un punto in più di Claude Opus 5.5 (max con fallback) e due in più di GPT-6 Astra di OpenAI (max).

Poi arriva il caveat. Anche il modello migliore si è fermato a 54 sulla scala dell'omniscienza. È il numero da tenere d'occhio.

Il divario di intelligenza è sottile, quello di prezzo no. Secondo lo stesso articolo di Tom's Hardware, Gemini 4 Carbon costa 7,76 dollari per attività sull'Intelligence Index. È leggermente più economico di Gemini 3.8 Flash (high) e diversi dollari sotto Claude Opus 5.5 o Sonnet 5.5 in modalità max con fallback. Claude Fable 5.1 costa 12,99 dollari per attività. GPT 6.1 Sol (max) di OpenAI costa circa sei volte meno per attività di Gemini 4 Carbon. Il DeepSeek V4.1 Flash 1017, a pesi aperti, costa circa 13 volte meno, anche se segna 32 sullo stesso indice. L'accesso è scaglionato: Google sta dando il modello prima ai difensori informatici attraverso il programma Fairwind, con una disponibilità più ampia in seguito.

Quella impostazione sulla sicurezza ha prove proprie. The Hacker News ha riportato il 29 ottobre che Gemini 4 Carbon guida i benchmark per individuare, sfruttare e correggere vulnerabilità.

I benchmark diventano più difficili, e i modelli sbagliano ancora

Il risultato sull'omniscienza arriva insieme a un'ondata di nuove valutazioni. Queste testano di proposito problemi senza risposte da manuale. FrontierMat, pubblicato su arXiv il 30 ottobre, contiene 330 problemi tratti dalla ricerca accademica e industriale sui materiali in aerospazio, semiconduttori, intelligenza incarnata e fusione nucleare. Sperimentali ed esperti di settore hanno validato ognuno di essi. Il miglior modello generalista segna il 53,7%. Al massimo un modello risolve metà dei problemi.

Gli autori indicano con precisione il tipo di errore: i modelli avallano ciò che è plausibile invece di ciò che è stato osservato. Su problemi appaiati, i 130 che richiedono ragionamento su più scale segnano 8,7 punti in meno di quelli su scala singola. Una ricetta di adattamento al dominio usa pretraining continuato con pesi meta e self-distillation modulare per scala. Porta un modello a pesi aperti dal 36,7% al 55,4%, alla pari con il più forte modello proprietario, senza cali sui benchmark generali.

Altri articoli vanno nella stessa direzione. SafeWebWorld, inviato il 29 ottobre, ha rilevato che gli esseri umani hanno giudicato semanticamente plausibili l'86,1% di 3.000 previsioni di dieci modelli aperti congelati. Eppure la plausibilità non si è tradotta in decisioni di sicurezza corrette. CLR-Bench, pubblicato lo stesso giorno, ha verificato se gli agenti che si evolvono da soli imparano regole nascoste. Il guadagno migliore rispetto a un agente congelato è stato al massimo di 5 punti, mentre una lezione fissa che enunciava la convenzione ha sollevato gli stessi metodi di 14,5-16,5 punti.

BULLPEN, anch'esso su arXiv, sostiene che la sola correttezza non coglie comportamento, stile e provenienza. Profila 260 modelli a pesi aperti dal testo delle risposte usando 400 domande, l'1,3% del pool completo di 24.118 domande.

Di cosa si discute davvero nella guerra dei benchmark

Le classifiche cambiano ogni settimana. La newsletter Interconnects di Nathan Lambert ha esaminato il dilemma di chi costruisce benchmark in un post del 28 ottobre su Artificial Analysis v5. Il 30 ottobre ha rivisto la propria posizione sui modelli aperti e sul rischio informatico.

La pressione sui costi spinge comunque gli acquirenti verso modelli aperti più piccoli. The Register ha riportato il 3 novembre che gli analisti Gartner Mark Petty e Raymond Paquet prevedono che i modelli a pesi aperti eseguiranno il 90% dei passaggi dei flussi di lavoro agentici aziendali entro il 2030. Se lo aspettano a circa un quarto del prezzo del modello chiuso più economico e fino a un ventesimo di un modello di frontiera su ogni passaggio. Gli analisti ammettono che il risparmio reale è più vicino a cinque o sei volte, perché i modelli aperti possono essere più verbosi e ritentare più spesso.

Il rischio di allucinazioni non è distribuito in modo uniforme nemmeno per lingua. SHAKTI e TRIDENT, inviati il 30 ottobre, costruiscono un benchmark in hindi per il rilevamento di testo generato da AI su otto famiglie di LLM. Sostengono che la ricerca sul rilevamento resta centrata sull'inglese.

Lo schema che attraversa tutto: punteggi migliori, margini più sottili e tipi di errore che i punteggi di plausibilità non intercettano.