Gemini 4 Carbon guida un nuovo indice AI con un punto di vantaggio, ma i benchmark per singolo compito mostrano divari più ampi

Un punto di vantaggio in cima

Ha chiuso due punti davanti a GPT-6 Astra di OpenAI e si è piazzato primo in quattro delle nove valutazioni dell'indice.

Un punto di vantaggio decide la vetta dell'indice, non il lavoro che i clienti devono fare. Se quel vantaggio regga con un harness diverso non è pubblico.

Gemini 4 Carbon è costato 7,76 dollari per compito sull'indice. Claude Fable 5.1 ne è costato 12,99. Gemini è costato diversi dollari in meno sia di Claude Opus 5.5 sia di Sonnet 5.5. Google ha rilasciato il modello la settimana scorsa. Ha dato ai difensori informatici un accesso prioritario attraverso il programma Fairwind. La disponibilità più ampia arriverà dopo. Tom's Hardware lo ha anche descritto come il modello di frontiera con la minore probabilità di allucinare, sulla base delle dichiarazioni sui benchmark.

Il punteggio sulle allucinazioni va letto con la sua scala. Gemini 4 Carbon ha preso 54 su AA-Omniscience v1.1, che va da -100 a +100. Il miglior risultato mai registrato resta lontano da un foglio pulito.

Cosa premia l'indice

Artificial Analysis costruisce la v5 da quattro blocchi di pari peso: knowledge work, coding, scienza e generale, 25% ciascuno. Il blocco coding è per il 15% FrontierCode 2.0 e per il 10% Terminal-Bench 4.0. Il blocco generale è per il 15% AA-Omniscience v1.1, diviso tra accuratezza e non allucinazione, più il 10% HLE-Diamond.

Interconnects ha definito l'indice AA la metrica indipendente di intelligenza più importante, con il Capabilities Index di Epoch AI staccato al secondo posto. Ha anche definito tutti questi indici "largamente difettosi".

La stessa analisi ha trovato segni di tensione nell'ordinamento della v5. GPT 6.1 Terra, per esempio, è finito sopra Claude Fable 5.1. Ha osservato che il coding è il caso d'uso più collaudato, dove i modelli aperti sono molto più competitivi. Si è mostrata meno sicura sui modelli aperti nel knowledge work.

La stessa analisi sosteneva che l'era degli indici unici di intelligenza vada superata gradualmente. Si aspettava che ci volesse molto tempo.

I test per singolo compito trovano divari più ampi

I benchmark costruiti attorno a un solo lavoro raccontano una storia più dura. CloudOpsBench, che mette alla prova i modelli sul lavoro di infrastruttura cloud, ha piazzato primo Claude Fable 5.1 (max) con l'harness claude-code, a un tasso di risoluzione del 60,6%. Seguono GPT-6 Astra (max) al 58,9% e Gemini 4 Argon (high) al 57,5%.

Su quella tabella compaiono diciotto modelli. La forbice scende fino al 19,1%. Lo stesso modello finisce in posizioni diverse a seconda dello strumento che lo avvolge. La prova in testa ha bruciato 97.900.000 token in 38,6 ore.

Il benchmark GDPx di SemiAnalysis ha puntato sul lavoro economicamente sostenibile. Ha trovato che il modello migliore ha segnato appena il 12%. FrontierMat è un insieme di 330 problemi tratti da ricerca aerospaziale, sui semiconduttori, sull'intelligenza incarnata e sulla fusione nucleare. Ha collocato il modello general-purpose più forte al 53,7%. Su problemi appaiati, le domande a scala diversa hanno segnato 8,7 punti in meno di quelle a scala singola. Al massimo un modello ha risolto metà dei 330 problemi. Un esperimento di adattamento al dominio, nello stesso articolo, ha portato un modello a pesi aperti dal 36,7% al 55,4%. Eguagliava così il modello proprietario più forte.

Ragionare non equivale a essere affidabile

Il divario tra capacità e affidabilità emerge anche nel lavoro clinico. Uno studio su Nature Communications ha confrontato sei coppie appaiate di modelli di ragionamento e modelli standard. Copriva 12 specialità mediche e usava un benchmark ricavato da cartelle cliniche elettroniche reali.

I modelli di ragionamento hanno prodotto oltre il 34% in più di diagnosi falsi positivi rispetto alle loro controparti standard. Hanno anche mostrato una riproducibilità inferiore di circa il 40%, quindi esecuzioni ripetute divergevano più spesso. Hanno però prodotto diagnosi primarie più accurate e differenziali clinicamente più utili.

La soluzione testata dagli autori era la supervisione, non un modello più grande. In una validazione con 15 medici, abbinare l'output del ragionamento alla revisione del clinico ha alzato l'accuratezza diagnostica del 20%. Ha ridotto i falsi positivi del 44% rispetto ai modelli che lavoravano da soli. Gli autori avvertono che i risultati vengono da cartelle retrospettive, non da incontri clinici dal vivo.

I pesi aperti aggiungono pressione, e le dichiarazioni vanno verificate

I modelli di frontiera chiusi non sono l'unica parte in movimento. Mistral ha rilasciato i pesi di Mistral Large 4 il 29 ottobre. È un modello multimodale che Mistral ha addestrato su infrastrutture europee. Mistral dichiara 41% su Terminal-Bench 4.0, 13 punti percentuali sopra l'anteprima del modello. Ha anche ridotto i token in output del 30%.

L'azienda dice anche che Large 4 ha eguagliato GLM-5.3 al 48% sull'Artificial Analysis Coding Agent Index. Ha usato il 47% in meno di token per compito. Sono cifre dichiarate dal fornitore.

Qui la licenza conta. La licenza open-weight di Mistral consente uso e modifica gratuiti, ma un'azienda che rivende il modello come servizio ha bisogno di una licenza commerciale separata.

Meituan ha rilasciato LongCat-2.5 lunedì. È un modello da 1.600.000.000.000 di parametri, con circa 48.000.000.000 di parametri attivi per token. Meituan lo ha addestrato su circa 50.000 acceleratori cinesi di produzione nazionale. Le sue dichiarazioni sui benchmark attendono test indipendenti.

Google non ha dato una data per un accesso più ampio a Gemini 4 Carbon oltre al programma Fairwind.