Gemini 4 Carbon guida il benchmark AI con un punto di vantaggio, ma Stanford scopre che le affermazioni sugli LLM scadono

Un punto di vantaggio sull'indice di intelligenza

In cima il divario è di un punto. Gemini 4 Carbon ha totalizzato 59 sull'Intelligence Index V5: uno in più di Claude Opus 5.5 e due su GPT-6 Astra di OpenAI.

Chi sceglie un modello guardando una classifica deve ora interpretare un distacco di un punto. Non ha davanti un vantaggio destinato a durare. Google non ha detto quando Gemini 4 Carbon sarà disponibile a un pubblico più ampio.

Tom's Hardware riferisce che il modello si è piazzato primo in quattro delle nove valutazioni della suite. Il costo per attività nel test dell'Intelligence Index è risultato di 7,76 dollari. The Hacker News riferisce che Gemini 4 Carbon ha guidato i benchmark sull'individuazione, lo sfruttamento e la correzione delle vulnerabilità. Ars Technica riferisce che Google ha annunciato il modello con un rilascio graduale, che potrebbe richiedere tempo.

Google sostiene che Carbon abbia guadagnato 89 punti su WebDev Arena, dove ora è quarto.

Perché il vantaggio è fragile

I benchmark invecchiano. Owen Queen e James Zou, entrambi a Stanford, hanno messo alla prova 50 affermazioni molto citate sui grandi modelli linguistici contro 20 modelli.

Hanno scoperto che il 44% di quelle affermazioni era già scaduto. Tra i 22 risultati con una data di scadenza stimata, la durata media era di 15,7 mesi. Dopo un anno era scaduto il 16%. Dopo due, la quota saliva al 39%. Otto sviluppatori hanno pubblicato i modelli tra luglio 2024 e settembre 2026. Le affermazioni su ciò che i modelli non sanno fare sono cadute più in fretta: cinque dei nove risultati legati al ragionamento sono stati classificati come scaduti, e nessuno ha retto o si è rafforzato.

I risultati variano anche dentro la stessa finestra di rilascio. Tra i modelli usciti tra luglio e settembre 2026, i risultati scaduti andavano da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol.

Il test sulle citazioni inventate è il caso più chiaro. In uno studio del 2023 di Walters e Wilder, GPT-3.5 inventava il 55% dei suoi riferimenti. Sugli stessi prompt, GPT-6.1 Sol ha inventato lo 0% e Claude Sonnet 5.5 si è fermato all'1%. Qwen3.7-Flash ne inventava ancora il 69%.

Queen e Zou arrivano a una conclusione prudente. I risultati sugli LLM vanno presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali.

I benchmark non risolvono la programmazione né il lavoro di conoscenza

Un punto di vantaggio su un indice composito non è un vantaggio su ogni attività.

Ars Technica riferisce che Gemini 4 Carbon batte GPT-6 Astra, Claude Opus 5.5 e Claude Fable 5.1 in quasi tutti i test di Google, ma solo di pochi punti. Secondo Artificial Analysis il modello non è all'altezza di Claude Code con Claude Opus 5.5 nella programmazione. Resta dietro anche a Grok 4.7, Muse Wonder e Kimi K3.1 Pro nel lavoro di conoscenza. Su AA-Omniscience, che misura conoscenza e allucinazione, Gemini 4 Carbon ha totalizzato 54: il miglior risultato del confronto, ma comunque lontano da un richiamo coerente su una scala che va da -100 a +100.

Il prezzo è l'altra metà del confronto. A 7,76 dollari per attività, Gemini 4 Carbon costa meno di Claude Opus 5.5 e Sonnet 5.5, entrambi al massimo con fallback.

Costa circa sei volte più di GPT-6.1 Sol (max) e circa 13 volte più del modello open-weight DeepSeek V4.1 Flash 1017, che totalizza 32 sull'Intelligence Index. Claude Fable 5.1 si attesta a 12,99 dollari per attività. Sui prezzi più bassi, i modelli open-weight cinesi come GLM 5.3-Flash e DeepSeek V4 Pro si prendono la frontiera di Pareto, secondo i dati di Arena.ai citati da Tom's Hardware.

Accesso, dichiarazioni sulla sicurezza e ciò che resta ignoto

L'accesso resta limitato. Google offre Gemini 4 Carbon prima ai difensori informatici attraverso il suo Fairwind Program. La disponibilità più ampia arriverà in un secondo momento.

Le dichiarazioni sulla sicurezza sono la parte più rumorosa della presentazione. Google afferma che il modello ha il doppio delle probabilità di generare codice privo di vulnerabilità rispetto ad Argon. Il team di Chrome sostiene che è 10 volte migliore nel produrre patch di alta qualità rispetto ai modelli non Google. Ars Technica riferisce che Google rivendica un "salto significativo" nel rilevamento, nella validazione e nella correzione delle vulnerabilità. Google ha parlato anche della sua collaborazione con il governo degli Stati Uniti sullo screening dei modelli e sui test prima del rilascio.

Per ora in cima alla classifica c'è un nome nuovo, per un solo punto.