Tra i molti sistemi critici in un data center, le tecnologie di raffreddamento si stanno evolvendo al ritmo più veloce, richiedono la curva di apprendimento più ripida e comportano i maggiori rischi operativi. I progetti di data center su larga scala spesso comportano investimenti per miliardi, rendendo qualsiasi errore di progettazione estremamente costoso. Inoltre, poiché la domanda di data center si evolve rapidamente, l'infrastruttura IT deve affrontare il rischio di un deprezzamento accelerato.
Sfide e idee sbagliate comuni nel raffreddamento dei data centerOggi, la densità di calore per metro quadrato in un data center può essere più di 50 volte superiore a quella di un tipico spazio ufficio, con carichi IT che superano frequentemente i 30 MW. I sistemi di raffreddamento sono progettati per mantenere le apparecchiature IT all'interno di intervalli di temperatura ottimali, come il mantenimento dei cluster NVIDIA DGX H100 tra 5°C e 30°C. Deviare da questi intervalli può ridurre la durata delle apparecchiature e, poiché i server e l'hardware rappresentano una parte importante del costo totale di proprietà (TCO) di un data center, un raffreddamento efficiente è fondamentale.
Attualmente, a parte le apparecchiature IT stesse, il raffreddamento è diventato la seconda spesa in conto capitale più grande nei data center, subito dopo i sistemi elettrici. Poiché le architetture di raffreddamento si diversificano e l'efficienza energetica diventa più critica, le soluzioni di raffreddamento sono ora una sfida progettuale fondamentale. Per i fornitori di servizi cloud, i costi energetici legati al raffreddamento sono una delle principali preoccupazioni operative, che richiedono un attento bilanciamento a livello di sistema.
Gli equivoci sono comuni per quanto riguarda i fattori alla base dell'adozione del raffreddamento a liquido e le tendenze future per il raffreddamento nei data center di intelligenza artificiale e formazione. Alcuni credono che il raffreddamento a liquido sia sempre più efficiente dal punto di vista energetico rispetto al raffreddamento ad aria, o che il raffreddamento ad aria non possa gestire chip con potenze superiori a 1000 W. Altri pensano che i server a bassa potenza con raffreddamento ad aria siano migliori per gli scenari di inferenza. Tuttavia, la vera forza trainante dietro l'adozione del raffreddamento a liquido è l'ottimizzazione del TCO per la potenza di calcolo dell'IA, non solo il risparmio energetico o le credenziali "più ecologiche".
Il vero valore del raffreddamento a liquido: densità e ottimizzazione del TCOIl raffreddamento a liquido non è nuovo: i data center degli anni '60 lo usavano per raffreddare i mainframe IBM. Tuttavia, i data center moderni hanno a lungo favorito il raffreddamento ad aria, grazie al suo costo iniziale inferiore e a una catena di approvvigionamento matura. Con l'aumento della scala dei data center, la tecnologia di raffreddamento ad aria ha tenuto il passo, consentendo densità di potenza dei rack sempre più elevate, pur mantenendo l'efficienza energetica.
Anche oggi, il raffreddamento ad aria domina lo spazio dell'IA. Ad esempio, il design di riferimento di NVIDIA per le implementazioni H100 consente fino a quattro server raffreddati ad aria per rack, con un assorbimento di potenza totale di 41 kW. In molti data center, ciò significa che gli operatori spesso lasciano metà dei loro rack vuoti per evitare il surriscaldamento. Tecnologie come gli scambiatori di calore a porta posteriore e gli armadi a flusso d'aria chiuso possono spingere le densità per rack oltre i 50 kW, ma il principale fattore limitante è spesso la dimensione fisica e i requisiti di raffreddamento dei server stessi.
Sebbene il raffreddamento a liquido fosse un tempo considerato costoso, il suo costo complessivo è relativamente modesto rispetto al ciclo di vita delle apparecchiature IT. Il vero valore risiede nella massimizzazione delle prestazioni IT: il raffreddamento a liquido consente di raggruppare in modo denso e raffreddare in modo efficiente più GPU e acceleratori AI, sbloccando una maggiore densità di calcolo e una maggiore collaborazione tra gli acceleratori.
Un ottimo esempio è il sistema NVIDIA GB200 NVL72, che utilizza il raffreddamento a liquido diretto al chip (DLC) per supportare 72 GPU in un singolo rack da 120 kW. Questa svolta consente un TCO significativamente inferiore per la formazione e l'inferenza di modelli linguistici di grandi dimensioni (LLM) e stabilisce un nuovo standard per i data center ad alta densità e ad alte prestazioni.
Ripensare l'economia del raffreddamento dei data centerSebbene il raffreddamento a liquido possa ridurre i costi operativi (risparmiando sull'alimentazione delle ventole del server, circa il 70% del consumo energetico legato al raffreddamento), questi risparmi da soli non sono sufficienti a giustificare un passaggio completo dall'aria al raffreddamento a liquido. L'investimento iniziale più elevato, la maggiore complessità della manutenzione e una catena di approvvigionamento meno matura sono tutti fattori critici. Sebbene il raffreddamento a liquido consenta di risparmiare spazio fisico, lo spazio calpestabile è raramente la risorsa più costosa in un data center: la maggior parte dei costi è ancora legata al carico IT.
La fisica e l'implementazione del raffreddamento a liquidoIl raffreddamento a liquido è più efficiente perché un dato volume di liquido può assorbire circa 4.000 volte più calore dell'aria. Tuttavia, pompare liquido (che è ~830 volte più denso dell'aria) richiede più energia e l'energia necessaria è direttamente proporzionale alla portata. Il raffreddamento a liquido diretto al chip può aumentare notevolmente la densità del rack, ma comporta sfide come tubi, diametri dei tubi più grandi e la necessità di materiali più costosi.
In una configurazione tipica, le piastre fredde in rame sono attaccate ai componenti più caldi (CPU e GPU), con acqua refrigerata che circola attraverso i collettori di distribuzione a livello di rack. Altri componenti, come NIC e dispositivi di archiviazione, si affidano ancora alle ventole per il raffreddamento.
Generalmente, un'unità di distribuzione del raffreddamento (CDU) gestisce il sistema, a livello di fila o di rack. Mentre le implementazioni su larga scala utilizzano spesso CDU a livello di fila per costi ed efficienza di manutenzione, le CDU integrate a livello di rack stanno diventando più popolari per la rapida implementazione e la chiara responsabilità del fornitore. In tutti i casi, la CDU si trova all'interno dello spazio bianco del data center.
Guardando al futuro, mentre il DLC monofase è destinato all'adozione di massa, sono in corso ricerche sulle tecnologie di raffreddamento a due fasi e a immersione (maggiori informazioni sul raffreddamento di nuova generazione).
Scegliere la soluzione di raffreddamento giustaPoiché le tecnologie di raffreddamento dei data center diventano sempre più sofisticate, la scelta della soluzione giusta è fondamentale per gli operatori che desiderano massimizzare la densità di calcolo riducendo al minimo i costi e i rischi. In Coolnet, offriamo una gamma completa di soluzioni di raffreddamento per data center, dal tradizionale raffreddamento ad aria al raffreddamento a liquido avanzato, progettate per soddisfare le esigenze dei carichi di lavoro AI e cloud ad alta densità.
Se desideri saperne di più sulle ultime novità in materia di progettazione di data center modulari o vedere come i data center modulari prefabbricati di Coolnet integrano tecnologie di raffreddamento avanzate, contattaci per una consulenza gratuita.
Riferimenti:Soluzioni per data center NVIDIAChina IDC Circle: tendenze del raffreddamento dei data center
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
