Progettazione di Hub di sviluppo dell’AI: dai progetti ad alta densità agli Hub completi di sviluppo dell’AI

Punto di partenza del progetto per data center

Un progetto di riferimento per un data center è un modello pre-convalidato e completamente progettato che definisce come dovrebbero essere organizzati l’alimentazione, il raffreddamento e l’infrastruttura IT per realizzare un data center affidabile, scalabile e pronto per l’intelligenza artificiale.

Utilizza layout collaudati e standardizzati.
Garantisce la compatibilità dell'infrastruttura.
Riduce i rischi durante l'implementazione.
Supporta carichi di lavoro basati sull'IA.
Consente una più rapida realizzazione dei siti dei data center.

Lavorando a stretto contatto con tutti i principali produttori di GPU, TPU, produttori di server e integratori, continuiamo ad ampliare la nostra libreria di progetti di riferimento completamente ingegnerizzati per far fronte al ritmo accelerato e ai cambiamenti che il settore sta vivendo. L'Intelligenza artificiale richiede più "progetti di riferimento" e noi li forniamo.

Se la tua infrastruttura attuale è basata sulla corrente alternata, la questione più urgente non è se procedere a una sostituzione completa, bensì dove introdurre la conversione in corrente continua e quanto vicino al rack sia possibile collocarla. In pratica, si tratta di trovare un compromesso tra il mantenimento della distribuzione CA a monte, l'aggiunta di moduli di alimentazione adiacenti ai rack e la prenotazione di spazio fisico ed elettrico sufficiente a supportare futuri carichi a 800 V CC. Le soluzioni "sidecar" o "power-rack" consentono agli operatori di ospitare apparecchiature a 800 V CC senza dover convertire l'intero data center in CC; questo è importante perché l'adozione iniziale della tensione a 800 V CC riguarderà specifici cluster di IA ad alta densità, non tutti i carichi presenti nell'edificio. Espansioni future più ampie potrebbero giustificare un supporto a 800 V CC più centralizzato, ma ciò diventerebbe un'ottimizzazione a livello di sala dati o di cluster piuttosto che un requisito a breve termine per l'intero sito.

Il compromesso fondamentale in questo caso è tra flessibilità e isolamento. Una catena di alimentazione condivisa può offrire agli operatori maggiore margine nei giorni in cui il carico meccanico diminuisce (ad esempio, quando i refrigeratori non sono sottoposti a un carico elevato e una quota maggiore della capacità disponibile può sostenere il carico IT). Un'architettura separata offre al reparto IT un confine più netto per le modifiche future, compresi gli aggiornamenti a 800 V CC, ma rende anche più difficile la riallocazione della potenza meccanica poiché tale capacità rimane confinata nella propria catena di alimentazione. Prima di optare per una delle due soluzioni, gli operatori dovrebbero sottoporre a prove di stress le modalità operative stagionali, gli scenari di manutenzione, il carico dei generatori, i percorsi di alimentazione delle CDU e la ripartizione prevista tra apparecchiature IT raffreddate ad aria, raffreddate a liquido e quelle future alimentate in corrente continua.

Esistono due strade, e quella giusta dipende dal fatto che il carico di lavoro possa sopportare un'interruzione. Per le operazioni di inferenza ad alta disponibilità o i carichi di lavoro che non possono essere trasferiti senza problemi su un altro sito, l'UPS rimane il livello di protezione più vicino, poiché supporta il funzionamento ininterrotto in caso di interruzione di corrente, la protezione da disturbi di breve durata e la stabilizzazione dei carichi AI. Il BESS svolge un ruolo diverso: supporta i servizi di rete, il contenimento dei picchi di potenza, l'utilizzo delle energie rinnovabili, l’accumulo di energia per periodi più lunghi e la stabilizzazione dei carichi. Una distinzione utile è che il BESS può tipicamente immagazzinare da una a due ore di energia e agisce più come una fonte di energia line-interactive. In breve, il BESS può essere utilizzato per rafforzare la strategia energetica di un sito, ma non si deve presumere che sostituisca l'UPS finché non siano stati definiti i requisiti del carico di lavoro e dell’autonomia necessaria in caso di interruzione dell’alimentazione.

I moduli prefabbricati non si limitano ai gruppi elettrogeni, ma gli operatori dovrebbero valutare quali attività in cantiere desiderano escludere dal percorso critico. Tra i principali elementi prefabbricati figurano quadri di media tensione, e-house, linee elettriche di bassa tensione, Power Skid, moduli IT, rack integrati, gruppi frigoriferi compatti con pompe integrate e specifici gruppi di tubazioni o moduli per corridoi di servizio. Il vantaggio pratico consiste nel ridurre il coordinamento in cantiere tra gli appaltatori elettrici, gli appaltatori meccanici, i direttori dei lavori e i team di messa in servizio. I Power Skid possono integrare UPS, quadri di comando, batterie, ATS e software di gestione; le configurazioni disponibili includono modelli da 1.250 kW a 480 V/60 Hz e modelli da 2 MW, 2,25 MW e 2,5 MW a 400 V.

Un modo utile per considerare i progetti di riferimento non è "standard contro personalizzato", ma "punto di partenza collaudato contro progettazione partendo da zero". I progetti di riferimento predisposti per l'intelligenza artificiale possono ridurre i tempi di progettazione, fornendo ai team di progetto una base già pronta per l'alimentazione, il raffreddamento, la disposizione dei sistemi IT e l'integrazione dei controlli. Gli attuali progetti di riferimento di Schneider Electric comprendono cluster AI raffreddati a liquido NVIDIA GB200 NVL72 da 7,392 MW, progetti NVIDIA GB300 NVL72 da 7,536 MW, progetti Vera Rubin NVL72 da 10 MW a 12,4 MW e soluzioni AI prefabbricate da 1 MW a 12 rack. Il compromesso è che gli elementi modulari possono essere prefabbricati in blocchi di grandi dimensioni, mentre l'architettura completa del sito richiede comunque l'integrazione tra interconnessione di rete, impianto meccanico, distribuzione a media tensione, strategia di implementazione IT e sequenza di costruzione.

È possibile utilizzare la capacità ridondante per aumentare la potenza di calcolo, ma gli operatori dovrebbero considerarla una scelta relativa alla modalità operativa piuttosto che come capacità inutilizzata. Le strutture tradizionali gestibili in modo concorrente prevedono margini di capacità elettrica e meccanica tali da consentire la messa fuori servizio dei sistemi per la manutenzione, mentre il carico IT previsto rimane attivo. L'intelligenza artificiale modifica il quadro economico, poiché la capacità della rete, la velocità di implementazione e la domanda di potenza di calcolo rendono più difficile giustificare una capacità inattiva e ridondante. Ad esempio, una struttura progettata per sostenere un carico IT di 200 MW durante interventi di manutenzione simultanei potrebbe fisicamente supportare un livello operativo più elevato, ad esempio 240 MW, ma la potenza di calcolo aggiuntiva proviene dalla capacità precedentemente destinata a garantire la continuità operativa in caso di manutenzione o guasti. La vera questione è se l'azienda attribuisca maggiore importanza ai token aggiuntivi per ogni struttura rispetto alla strategia di ridondanza originaria. Prima di ridurre i margini, definisci in modo esplicito lo stato operativo: modalità normale con ridondanza, modalità ad alta produttività, modalità di manutenzione e modalità di risposta ai guasti.

La progettazione dovrebbe essere determinata dal carico di lavoro, una volta che l'operatore avrà stabilito se la struttura sarà in grado di supportare servizi di colocation generici, clienti neocloud ad alta densità, cluster di addestramento, piattaforme di inferenza o una combinazione di questi modelli. Una struttura di colocation potrebbe dover mantenere una certa flessibilità a livello di alimentazione elettrica e raffreddamento fino a quando le esigenze degli utenti non saranno definite. Un cloud dedicato all'IA o un Hub di sviluppo dell’AI monouso può essere progettato direttamente sulla base di una roadmap nota delle GPU, della topologia del cluster, della densità dei rack e dei requisiti di raffreddamento. L'offerta di Schneider Electric per i data center dedicati all'IA affronta lo stesso problema, concentrandosi su un'infrastruttura integrata che comprende sistemi di raffreddamento, alimentazione, software, pod e rack, oltre a servizi di assistenza per l'intero ciclo di vita dei carichi di lavoro di IA ad alte prestazioni.

Non progettare l'intero data center come se ogni carico dovesse arrivare a 800 V CC. La questione pratica dal punto di vista progettuale è dove 800 V CC entrano nell'architettura e quanto deve essere grande il blocco di conversione CC. Le implementazioni iniziali possono utilizzare moduli laterali adiacenti ai rack, generalmente associati a uno o due rack GPU, all'interno di un data center AC esistente senza richiedere importanti interventi di adeguamento dell'infrastruttura a monte. I futuri cluster di maggiori dimensioni potrebbero giustificare l'adozione di blocchi centralizzati da 800 V CC nella fascia compresa tra 2 e 5 MW, con la possibilità di scalare verso unità di dimensioni maggiori, mentre le architetture a più lungo termine potrebbero introdurre la media tensione nella conversione basata su trasformatori a stato solido su una scala di circa 10 MW. Le architetture a 800 V CC consentono di superare i 400 kW di densità per rack, spostando la conversione da CA a CC all'esterno del rack IT e utilizzando rack di alimentazione o moduli aggiuntivi per ridurre le interruzioni nelle strutture esistenti basate sulla CA.

Il compromesso fondamentale è tra isolamento e condivisione dinamica delle risorse. L'utilizzo di sistemi di alimentazione separati può semplificare la demarcazione tra l'infrastruttura IT e quella di raffreddamento, soprattutto quando i grandi refrigeratori, le unità di raffreddamento (CDU) e le sale dati non si allineano perfettamente nello stesso spazio. Un'infrastruttura condivisa può garantire flessibilità durante le condizioni di raffreddamento naturale, poiché la capacità meccanica inutilizzata può essere reindirizzata verso il carico IT, se il trasformatore e l'architettura a valle lo consentono. Il rischio legato alla separazione totale è quello della potenza inutilizzata: se il carico meccanico diminuisce ma il trasformatore IT opera già al limite delle sue capacità, l'operatore non può riutilizzare quella capacità inutilizzata del lato raffreddamento per le attività di calcolo. Da chiarire: questa scelta progettuale richiede una modellizzazione specifica per ogni sito in relazione alle dimensioni della sala dati, alle dimensioni del gruppo di refrigerazione, alla distribuzione dei trasformatori, agli obiettivi di ridondanza e alle modalità operative stagionali, prima di poter diventare uno standard giustificabile.

La modellazione dei circuiti elettrici, dei flussi d'aria e dei flussi di liquidi dovrebbe essere effettuata prima di finalizzare il progetto, poiché ciascun modello riguarda una diversa categoria di guasti. La modellazione elettrica consente di verificare la corrente di guasto, la protezione, la sicurezza e l'affidabilità, oltre a simulare scenari ipotetici relativi alla manutenzione o all'aumento del carico. La simulazione CFD o del flusso d'aria verifica l'efficacia del contenimento, la capacità del lato aria e il funzionamento del sistema di raffreddamento ridondante. La modellazione delle tubazioni e del flusso dei fluidi verifica che ogni rack riceva la portata di refrigerante richiesta in condizioni di funzionamento normale, in modalità ridondante e durante gli interventi di manutenzione. Il passo successivo consiste nel collegare il comportamento del carico IT a quello dell'impianto, in modo che le fluttuazioni del carico generate dall'intelligenza artificiale possano propagarsi attraverso le reti elettriche, le unità di distribuzione (CDU), i sistemi di controllo dei refrigeratori e i circuiti di raffreddamento prima che il sito operi con un carico reale.

Il modello dovrebbe partire dalla fase di progettazione e evolversi verso analisi operative di tipo "what-if" man mano che si rendono disponibili dati reali. Un modello statico in stile ETAP è già in grado di gestire scenari offline quali commutazioni per manutenzione, l'aggiunta di apparecchiature o la verifica della capacità di una configurazione di mettere a dura prova l'infrastruttura elettrica. Il modello operativo avanzato collega i dati reali sul carico al livello di simulazione, consentendo agli operatori di valutare cosa succede quando i refrigeratori si arrestano, i carichi si spostano o i grandi cluster di IA entrano in funzione, prima di apportare modifiche sul campo. EcoStruxure Power Monitoring Expert supporta l'analisi dell'alimentazione, l'analisi delle forme d'onda dei disturbi di tensione, il raggruppamento degli allarmi, il monitoraggio della capacità del sistema e l'analisi della qualità dell'energia, mentre EcoStruxure IT supporta il monitoraggio, la pianificazione, la modellazione, l'analisi dell'alimentazione e dell'energia e l'ottimizzazione del raffreddamento.