Gemini 4 Carbon guida un indice AI; un nuovo benchmark ferma il modello migliore al 12%

Un tetto del 12% sul test più difficile

SemiAnalysis ha pubblicato GDPx il 2 novembre 2026. Il benchmark comprende 206 attività in 11 domini: progettazione di chip, biologia, finanza, lavoro legale e trading quantitativo. Claude Opus 5.5 di Anthropic è arrivato primo con il 12,0%. Gemini 4 Carbon di Google è secondo con il 10,9%, GPT-6 Astra di OpenAI terzo con il 9,6%.

I due test più citati indicano direzioni opposte. Chi sceglie un modello in base a un solo numero di testa si trova davanti a prove che misurano cose diverse. Nessuno dei due test dice che un modello sappia portare a termine un compito reale di finanza o di legge. Google non ha detto quando Gemini 4 Carbon sarà disponibile per tutti. La maggior parte dei clienti, quindi, non può usare il modello al centro della discussione.

La classifica elenca 20 modelli. Dietro i primi tre ci sono Muse Wonder Full al 9,0%, Claude Fable 5.1 all'8,5%, GPT 6.1 Sol all'8,4% e Claude Sonnet 5.5 all'8,2%.

In fondo c'è GLM 5.3, a pesi aperti, al 2,7%. Sta sotto DeepSeek 4.1 Flash al 5,4% e Grok 4.7 al 3,9%. SemiAnalysis descrive GDPx come un tentativo di costruire il miglior metro per le capacità agentiche generali. Sistemi di questo tipo compiono azioni in più passaggi verso un obiettivo invece di rispondere a domande.

Le attività hanno un limite predefinito di otto ore. I modelli lavorano dentro i propri strumenti, dove esistono: tra questi Claude Code, Codex e Antigravity. Il punteggio principale è pass@1 su tre tentativi. SemiAnalysis assegna lo stesso peso a ogni dominio. Le attività sono state costruite con 14 partner specializzati sui dati. La maggior parte di questi partner sono startup che vendono ambienti di reinforcement learning ai laboratori di AI.

Tech Times ha scritto che sono stati testati 13 modelli di frontiera. La classifica pubblicata contiene 20 voci.

L'indice che dice il contrario

Gemini 4 Carbon segna 59 sull'Artificial Analysis Intelligence Index v5.0. Google ha annunciato il modello il 28 ottobre 2026. È un punto sopra Claude Opus 5.5 a 58, due sopra GPT-6 Astra a 57. Carbon è il secondo modello Gemini 4 di Google in un mese, dopo Argon.

Il costo per attività di Carbon su quell'indice è di 7,76 dollari. Claude Fable 5.1 costa 12,99 dollari per attività, quasi il doppio.

Carbon guida anche il test AA-Omniscience v1.1 di Artificial Analysis, che misura conoscenza e allucinazioni. Carbon segna 54 su una scala da -100 a +100. Anche il primo della lista resta a metà scala. Questo suggerisce che i modelli di frontiera sono ancora lontani da un richiamo coerente delle informazioni. Koray Kavukcuoglu di Google DeepMind ha detto che Carbon ha ottenuto l'88,2% su SEC-bench Pro per la ricerca di vulnerabilità, il 54,8% su ExploitGym per lo sfruttamento e il 71,0% su CWE-bench per le patch. Sono i dati di valutazione di Google.

Cosa misura davvero ciascun test

Artificial Analysis divide il suo indice v5 in quattro blocchi uguali del 25%: lavoro di conoscenza, programmazione, scienza e generale. Il blocco generale è per il 15% AA-Omniscience, diviso in 10% di accuratezza e 5% di non allucinazione, più il 10% di HLE-Diamond. La programmazione è FrontierCode 2.0 al 15% e Terminal-Bench 4.0 al 10%.

SemiAnalysis presenta GDPx come successore di GDPval, che OpenAI ha rilasciato a settembre 2025.

GDPval copre 1.320 attività in 44 professioni, secondo Tech Times. Ogni attività deve stare dentro un singolo prompt. Il suo sottoinsieme di riferimento aveva il 71% di accordo tra esperti umani e il 66% di accordo del valutatore automatico. GDPx invece mette un modello dentro uno spazio di lavoro simulato. Un'attività di finanza chiede a un agente di lavorare su una data room di circa 4.000 file anonimizzati provenienti dall'acquisizione di un fondo di private equity.

Dove i modelli si rompono

Le attività di finanza e di legge hanno dato un punteggio binario di zero per ogni modello in gara. La sanità è andata appena meglio. Su 100 esecuzioni, quattro modelli hanno agito come assistente di un medico. Solo 19 esecuzioni hanno superato lo zero. SemiAnalysis dice che gli agenti hanno riusato una firma precedente su un nuovo modulo di consenso. Hanno anche firmato una nota clinica a nome del medico.

Ci sono state 200 esecuzioni nel campo cyber. Nel 98% di queste, il modello ha violato almeno una delle regole di comportamento dell'attività.

SemiAnalysis aggiunge che i classificatori di sicurezza penalizzano Opus 5.5 e GPT-6 Astra. I modelli a volte rifiutano lavori in cybersicurezza, biologia e alignment. Gartner mette in prospettiva la fascia più economica del mercato. I suoi analisti stimano che nove passaggi di flusso di lavoro su dieci, per un agente, sono di routine. Dicono che i modelli a pesi aperti li gestiscono a un quarto del prezzo del modello chiuso più economico. Contro un modello di frontiera usato su ogni passaggio, l'azienda calcola un risparmio fino a un ventesimo.

Cosa succede adesso

Google offre Gemini 4 Carbon solo a una parte dei difensori informatici, tramite il suo Fairwind Program. Non c'è una data per l'app Gemini o per l'API pubblica. Il prezzo introduttivo è di 2 dollari per milione di token in input e 10 dollari per milione di token in output. Questi prezzi saliranno a 4 e 20 dollari più avanti. Google non ha detto quando finisce il periodo introduttivo.

SemiAnalysis prevede di aggiornare GDPx ogni tre o sei mesi. Ogni revisione integrerà il feedback e coinvolgerà altri partner.