OpenAI fa girare i suoi ASIC Jalapeno su host AMD Turin mentre il raffreddamento a liquido supera l'aria

L'ASIC Jalapeno di OpenAI viene distribuito internamente insieme a host AMD EPYC Turin, ciascuno con 1,5 TB di memoria, secondo Tom's Hardware del 2 ottobre. La testata ha posto la domanda a Richard Ho, VP e Head of Hardware di OpenAI, che ha definito la scelta di Turin "pragmatica" e ha detto che la nuova CPU Vera di Nvidia è "un po' indietro... su quel livello di maturità".

È un'ammissione notevole per un'azienda che fa molto affidamento sui chip Nvidia. Ho ha inquadrato la scelta come gestione del rischio piuttosto che come preferenza.

"Il modo in cui abbiamo affrontato quel design era davvero in termini di riduzione del rischio e della capacità di farlo velocemente", ha detto Ho a Tom's Hardware Premium. "Per il programma Jalapeno, stavamo cercando di prendere decisioni molto pragmatiche. Volevamo essere aggressivi sugli obiettivi di prestazioni e costi, ma non volevamo correre rischi inutili."

La distribuzione su scala rack è stata descritta per la prima volta da SemiAnalysis, secondo la stessa relazione. Tom's Hardware ha notato che le alternative basate su Arm come Axiom di Google Cloud, Graviton di AWS e il chip AGI di Arm stesso sono posizionate come CPU agentiche, destinate ad accelerare i cicli di ragionamento eseguiti dai carichi di lavoro agentici. Turin è x86. OpenAI lo ha scelto comunque e la risposta di Ho suggerisce che la maturità della piattaforma circostante contava più dell'insieme di istruzioni.

Perché i rack continuano a scaldarsi

Le scelte hardware a monte hanno una conseguenza fisica a valle. Wanma Technology, in una guida per armadi a raffreddamento a liquido datata 29 settembre, afferma che gli armadi server tradizionali a raffreddamento ad aria si fermano tra gli 8 e i 10 kilowatt per rack, una soglia stabilita decenni fa quando il consumo di potenza dei processori era modesto. I chip per l'alta elaborazione ora assorbono 700 watt, 1.200 watt o più per unità, e popolarre un singolo armadio con diversi di questi supera ciò che l'aria forzata può dissipare.

Il risultato è il thermal throttling, la perdita di prestazioni o il guasto completo se il raffreddamento non riesce a stare al passo. Wanma descrive il passaggio al liquido come una necessità piuttosto che un'ottimizzazione per chiunque distribuisca l'elaborazione moderna su larga scala.

CoolIT, in un articolo sponsorizzato pubblicato da IEEE Spectrum il 22 settembre, mette un numero più preciso: oltre 250 kW per rack, un approccio ibrido liquido e aria smette di funzionare, perché una ripartizione 70/30 liquido-aria lascia ancora 75 kW di calore al sistema ad aria da spostare. CoolIT afferma che il liquido può assorbire effettivamente tutto il calore, con l'aria sotto l'1 percento del carico, il che consente a un server di funzionare senza ventole. L'azienda afferma che i suoi circuiti sono costruiti da blocchi a piastra fredda modulari dimostrati in sei generazioni di design senza ventole.

Questa è una presentazione del fornitore e va letta come tale. Ma la direzione è coerente con ciò che gli operatori stanno acquistando.

I CDU ottengono un badge di qualificazione

Nvidia ha iniziato a standardizzare parte della catena di approvvigionamento il 21 settembre, annunciando DSX Ready, un programma di qualificazione per prodotti partner che soddisfano i requisiti del design di riferimento DSX AI factory di Nvidia. Il programma è stato lanciato con due categorie: sistemi di accumulo di energia a batteria e unità di distribuzione del raffreddamento. I prodotti BESS qualificati al lancio provenivano da Hitachi Energy, LG Energy Solution e Tesla; i CDU qualificati provenivano da LG Electronics, LiquidStack e Vertiv.

Il blog di Nvidia è esplicito sui limiti del badge. Il superamento della qualificazione "non sostituisce l'ingegneria a livello di sito né implica la stabilità a livello di sito", afferma. Per i CDU, il percorso utilizza una suite di autoqualificazione per determinare se un'offerta specifica soddisfa i requisiti funzionali applicabili. I costruttori devono ancora capire come un'unità qualificata si adatta al loro sito, configurazione ed esigenze operative.

Otto giorni dopo, il 29 settembre, Trane Technologies ha annunciato la piattaforma LiquidStack CDU 2.X a Yotta 2026 a Swords, Irlanda. HPCwire riporta che l'unità è agnostica rispetto all'architettura, con una capacità di flusso fino a 3.750 litri al minuto a 3,5 bar, ed è progettata per supportare le attuali piattaforme GPU oltre a margine per quelle di prossima generazione, inclusa Nvidia Vera Rubin.

"Gli operatori hanno bisogno di infrastrutture di raffreddamento che possano adattarsi man mano che le piattaforme GPU e le densità dei rack evolvono", ha detto Scott Smith, General Manager di LiquidStack presso Trane Technologies, nell'annuncio. "CDU 2.X combina le prestazioni e la flessibilità di cui i clienti hanno bisogno oggi con il margine per prepararsi a ciò che verrà."

Lo stesso annuncio cita temperature di ingresso dell'impianto fino a 45C e un'architettura VFD a ultra-basse armoniche destinata a ridurre la distorsione armonica alla fonte. Sono supportate sia le installazioni in fine di fila che quelle adiacenti al rack.

L'installazione è la parte facile

Kevin Roof, Director of Offer and Capture Management di LiquidStack, ha argomentato su Data Center POST che l'industria sta facendo la domanda sbagliata. La distribuzione riceve l'attenzione, ha scritto, ma le operazioni decidono se le prestazioni tengono per un decennio. L'installazione si misura in settimane; le operazioni si misurano in anni.

Il suo avvertimento specifico riguarda il raggio d'azione. Valutare la resilienza contando i CDU ridondanti ignora come un guasto si propaga attraverso l'intera rete di distribuzione e controllo dei fluidi. Segnala anche la deriva delle prestazioni, sostenendo che i dati operativi in tempo reale consentono agli operatori di catturare il degrado prima che un componente guasti effettivamente. A questa lettura, un circuito di raffreddamento è un sistema interconnesso in cui un cambiamento nella configurazione del rack, degli acceleratori o della strategia di controllo può alterare il comportamento altrove nel circuito.

Le tolleranze di produzione alimentano lo stesso problema. XEBEC Deburring Technologies nota che le piastre fredde sono costruite con passaggi interni complessi, fori incrociati, canali fresati e superfici di tenuta, e che la fresatura lascia bave. Le particelle sciolte possono creare problemi di contaminazione; le bave vicino alle aree di tenuta complicano l'assemblaggio. La proposta dell'azienda è che la sbavatura appartenga dentro il processo di fresatura piuttosto che come un ripensamento manuale, il che è un argomento del fornitore ma punta a un reale onere di ispezione.

I fluidi, e le domande che gli acquirenti fanno davvero

La FAQ direct-to-chip di Telecomate, rivolta a ingegneri di rete e team di approvvigionamento, affronta se i moduli a piastra fredda possano funzionare su fluidi dielettrici non conduttivi. La risposta è sì, con avvertenze: i dielettrici rimuovono il rischio di cortocircuito dei circuiti basati su acqua ma generalmente hanno una conducibilità termica inferiore e una viscosità maggiore rispetto alle miscele di glicole-acqua, quindi i tassi di flusso, la dimensionamento della pompa e la geometria dei microcanali devono essere specificati di conseguenza. La maggior parte dei principali fornitori DTC pubblica elenchi di fluidi approvati e matrici di compatibilità dei materiali che coprono rame, alluminio, acciaio inossidabile, guarnizioni in EPDM e fluoropolimeri, secondo la FAQ.

Traccia anche una linea tra DTC dielettrico a fase singola e a due fasi. La fase singola mantiene il fluido liquido e si affida all'aumento del calore sensibile; la due fasi lo fa bollire sulla superficie del chip e condensare in uno scambiatore di calore remoto, spostando il calore come energia latente. Per schede di linea telecom e switch 1U-2U, la FAQ chiama la fase singola la scelta più pragmatica, riservando la due fasi per ASIC ad alto TDP sopra circa 500 W per pacchetto.

Questa è una guida da una FAQ tecnica, non un benchmark, e la stessa avvertenza si applica alle guide di selezione. L'immagine operativa è più definita del marketing.

Questa immagine è perché la divulgazione di OpenAI conta oltre un programma di chip. Scegliere host Turin e far girare Jalapeno accanto a loro è una decisione di calcolo, ma ciascuno di quei rack atterra in un impianto che deve rimuovere il calore. Tra il soffitto ad aria di 8-10 kW descritto da Wanma e la soglia di 250 kW citata da CoolIT, lo spazio per i design ibridi si restringe rapidamente. I fornitori stanno rispondendo con programmi di qualificazione, CDU a flusso più alto e elenchi di compatibilità dei fluidi. Gli operatori, nel frattempo, vengono told che la parte difficile inizia dopo che le casse sono state scaricate.