Ontwerp van AI-fabrieken: van ontwerpen met hoge dichtheid tot complete AI-fabrieken

Uitgangspunt voor het ontwerp van datacenters

Een referentieontwerp voor een datacenter is een vooraf gevalideerde, volledig uitgewerkte blauwdruk die definieert hoe de stroomvoorziening, koeling en IT-infrastructuur moeten worden georganiseerd om een betrouwbaar, schaalbaar datacenter op basis van AI te bouwen.

Gebruikt bewezen, gestandaardiseerde lay-outs.
Zorgt voor compatibiliteit van de infrastructuur.
Vermindert het risico tijdens de implementatie.
Ondersteunt de AI-werklast.
Maakt snellere uitbreidingen van datacenters mogelijk.

In nauwe samenwerking met alle toonaangevende fabrikanten van GPU's, TPU's, serverfabrikanten en integrators blijven we onze bibliotheek met volledig uitgewerkte referentieontwerpen uitbreiden om in te spelen op het hoge tempo en de veranderingen die de sector doormaakt. AI vraagt om meer 'referentieontwerpen' en die leveren wij.

Als uw huidige infrastructuur op wisselstroom is gebaseerd, is de vraag op korte termijn niet of u alles moet vervangen, maar waar u de gelijkstroomomzetting moet aanbrengen en hoe dicht bij het rack u deze kunt plaatsen. De praktische afweging ligt tussen het behoud van de wisselstroomverdeling stroomopwaarts, het toevoegen van stroomverspreidingsunits naast de racks en het reserveren van voldoende fysieke en elektrische ruimte om toekomstige 800 VDC-belastingen te kunnen ondersteunen. Met een 'sidecar'- of 'power-rack'-opstelling kunnen operators apparatuur op 800 VDC huisvesten zonder het hele datacenter op gelijkstroom om te schakelen. Dit is van belang omdat de vroege invoering van 800 VDC in eerste instantie bedoeld is voor specifieke AI-clusters met hoge dichtheid, en niet voor alle belasting in het gebouw. Grotere toekomstige expansies kunnen meer gecentraliseerde 800 VDC-ondersteuning rechtvaardigen, maar dat wordt dan een optimalisatie op datahal- of clusterschaal in plaats van een vereiste op korte termijn voor de gehele locatie.

De belangrijkste afweging hier is flexibiliteit versus afzondering. Een gedeelde stroomvoorziening kan operators meer ruimte bieden op dagen waarop de mechanische belasting afneemt (bijvoorbeeld wanneer koelmachines minder hard hoeven te werken en een groter deel van de beschikbare capaciteit kan worden ingezet voor de IT-belasting). Een gescheiden architectuur biedt de IT-kant een duidelijkere afbakening voor toekomstige veranderingen, waaronder 800 VDC-upgrades, maar maakt het ook moeilijker om mechanisch vermogen te herverdelen omdat die capaciteit in een eigen circuit zit. Alvorens een keuze te maken voor een van beide opstellingen, moeten operators de seizoensgebonden bedrijfsmodi, onderhoudsscenario's, de belasting van de generatoren, de stroomcircuits van de CDU's en de verwachte verdeling tussen luchtgekoelde, vloeistofgekoelde en toekomstige IT-apparatuur op gelijkstroom grondig testen.

Er zijn twee mogelijkheden, en welke de juiste is, hangt af van de vraag of de werklast een onderbreking kan verdragen. Voor inferentie met hoge beschikbaarheid of workloads die niet zonder meer naar een andere locatie kunnen worden verplaatst, blijft de UPS de binnenste beschermingslaag, omdat deze ononderbroken noodstroom, bescherming tegen kortstondige storingen en AI-belastingafvlakking ondersteunt. BESS speelt een andere rol: het ondersteunt netdiensten, vermogensbegrenzing, het gebruik van hernieuwbare energie, langdurige opgeslagen energie en belastingafvlakking. Een nuttig onderscheid is dat het BESS doorgaans één tot twee uur aan energie kan opslaan en meer fungeert als een line-interactive energiebron. Kortom kan BESS worden gebruikt om de energiestrategie van een locatie te versterken, maar ga er niet vanuit dat het de UPS vervangt totdat de werklast en de noodstroomvereisten bekend zijn.

Prefabricage kan meer omvatten dan alleen stroomskids, maar operators moeten zich afvragen welke werkzaamheden op de bouwplaats ze uit het kritieke pad willen halen. Belangrijke geprefabriceerde elementen zijn onder meer middenspanningsapparatuur, e-houses, laagspanningsstroomvoorzieningen, stroomskids, IT-pods, geïntegreerde racks, complete koelers met ingebouwde pompen en bepaalde leidingsystemen of onderhoudsgangen. De praktische meerwaarde zit hem in het verminderen van de coördinatie op de bouwplaats tussen elektrotechnische installatiebedrijven, mechanisch installateurs, bouwmanagers en inbedrijfstellingsteams. Stroomskids kunnen UPS-systemen, schakelapparatuur, accu's, ATS en beheersoftware integreren, met beschikbare configuraties zoals 1.250 kW bij 480 V/60 Hz en modellen van 2 MW, 2,25 MW en 2,5 MW bij 400 V.

Een handige manier om over referentieontwerpen na te denken is niet 'standaard versus op maat', maar 'gevalideerd uitgangspunt versus ontwerpen vanaf nul'. AI-geschikte referentieontwerpen kunnen de planningscyclus verkorten door projectteams een vooraf ontworpen basis te bieden voor stroomvoorziening, koeling, IT-indeling en de integratie van besturingssystemen. De huidige referentieontwerpen van Schneider Electric omvatten vloeistofgekoelde AI-clusters van 7,392 MW NVIDIA GB200 NVL72, ontwerpen van 7,536 MW NVIDIA GB300 NVL72, ontwerpen van 10 MW-12,4 MW Vera Rubin NVL72 en geprefabriceerde AI-oplossingen van 1 MW met 12 racks. Het nadeel is dat modulaire elementen weliswaar in grote delen kunnen worden geprefabriceerd, maar dat de volledige locatiearchitectuur nog steeds integratie vereist tussen de aansluiting op het elektriciteitsnet, de mechanische installaties, de middenspanningsdistributie, de IT-implementatiestrategie en de bouwvolgorde.

U kunt overtollige capaciteit gebruiken voor extra rekenkracht, maar operators moeten dit beschouwen als een keuze voor een bepaalde bedrijfsmodus en niet als vrije capaciteit. Bij traditionele, gelijktijdig te onderhouden faciliteiten wordt voldoende elektrische en mechanische speelruimte ingebouwd, zodat systemen voor onderhoud kunnen worden uitgeschakeld terwijl de vereiste IT-belasting online blijft. AI verandert de economische druk, omdat het door de netcapaciteit, de implementatiesnelheid en de vraag naar rekenkracht steeds moeilijker wordt om onbenutte, overtollige capaciteit te rechtvaardigen. Een faciliteit die bijvoorbeeld is ontworpen om tijdens gelijktijdig onderhoud een IT-belasting van 200 MW aan te kunnen, kan fysiek weliswaar een hoger vermogen aan, bijvoorbeeld 240 MW, maar die extra rekenkracht komt uit capaciteit die voorheen was gereserveerd voor onderhouds- en storingsscenario's. De echte vraag is of het bedrijf extra tokens per locatie belangrijker vindt dan de oorspronkelijke redundantiestrategie. Leg, voordat u de marges verkleint, de bedrijfstoestand duidelijk vast: normale redundante modus, modus voor hoge doorvoercapaciteit, onderhoudsmodus en modus voor storingsafhandeling.

Het ontwerp moet worden afgestemd op de werklast zodra de operator weet of de locatie geschikt is voor algemene colocatie, neocloud-klanten met een hoge dichtheid, trainingsclusters, inferentieplatforms of een combinatie van deze modellen. Een algemene colocatiefaciliteit moet wellicht de flexibiliteit op het gebied van stroomvoorziening en koeling openhouden totdat de behoeften van de huurders duidelijk worden. Een gespecialiseerde AI-cloud of een AI-fabriek voor één specifiek doel kan direct worden ontworpen op basis van een bekende GPU-roadmap, clustertopologie, rackdichtheid en koelingsvereisten. Het AI-datacenterpakket van Schneider Electric richt zich op hetzelfde vraagstuk: geïntegreerde infrastructuur voor koeling, stroomvoorziening, software, pod- en racksystemen, en levenscyclusdiensten voor krachtige AI-workloads.

Ontwerp het hele datacenter niet alsof elke belasting 800 VDC zal worden. De praktische ontwerpvraag is waar 800 VDC de architectuur binnenkomt en hoe groot het DC-conversieblok moet zijn. Bij vroege implementaties kan gebruik worden gemaakt van sidecars die naast de racks staan, vaak afgestemd op één of twee GPU-racks, binnen een bestaand datacenter met wisselstroom zonder dat er ingrijpende aanpassingen aan de infrastructuur nodig zijn. Grotere toekomstige clusters kunnen de inzet van gecentraliseerde 800 VDC-blokken in het bereik van 2 tot 5 MW rechtvaardigen, met de mogelijkheid om op te schalen naar grotere eenheden, terwijl architecturen voor de langere termijn middenspanning kunnen integreren in conversie op basis van halfgeleidertransformatoren op een schaal van ongeveer 10 MW. 800 VDC-architecturen zijn geschikt voor rackdichtheden van meer dan 400 kW door de wisselstroom-naar-gelijkstroom-omzetting buiten het IT-rack te plaatsen en gebruik te maken van stroomracks of sidecars, om zo de verstoring in bestaande, op wisselstroom gebaseerde faciliteiten te beperken.

De belangrijkste afweging is die tussen afzondering en dynamisch delen van capaciteit. Afzonderlijke stroomvoorzieningen kunnen de scheidingslijnen tussen de IT- en koelingsinfrastructuur vereenvoudigen, vooral wanneer grote koelmachines, CDU's en datahallen niet naadloos op elkaar aansluiten binnen dezelfde opstelling. Gedeelde infrastructuur kan de flexibiliteit tijdens vrije koeling behouden, omdat ongebruikte mechanische capaciteit kan worden ingezet voor de IT-belasting, mits de transformator en de downstream-architectuur dit toelaten. Het risico van volledige scheiding is 'gestrande capaciteit': als de mechanische belasting afneemt maar de IT-transformator al op zijn limiet draait, kan de operator die onbenutte capaciteit aan de koelzijde niet hergebruiken voor rekenkracht. De kloof die u moet aanpakken: deze ontwerpkeuze vereist locatiespecifieke modellering met betrekking tot de omvang van de datahal, de grootte van het koelblok, de toewijzing van transformatoren, de streefwaarde voor redundantie en seizoensgebonden bedrijfsmodi, voordat het een verdedigbare norm wordt.

De modellering van elektrische processen, luchtstromen en vloeistofstromen moet plaatsvinden voordat het ontwerp definitief wordt vastgesteld, omdat elk model betrekking heeft op een andere categorie storingen. Elektrische modellering controleert de foutstroom, beveiliging, veiligheid en betrouwbaarheid, en simuleert wat-als-scenario’s met betrekking tot onderhoud of extra belasting. CFD- of luchtstroomsimulaties valideren de insluiting, de capaciteit aan de luchtzijde en overbodig koelgedrag. Met behulp van leiding- en vloeistofstromingsmodellering wordt gecontroleerd of elk rack de vereiste koelvloeistofstroom ontvangt tijdens normale, redundante en onderhoudssituaties. De volgende stap is het koppelen van het IT-belastingsgedrag aan dat van de faciliteiten, zodat schommelingen in de AI-belasting door stroomsystemen, de CDU's, de koelinstallatieregelingen en de koelcircuits kunnen worden verspreid voordat de locatie onder werkelijke belasting komt te staan.

Het model moet beginnen in de ontwerpfase en zich ontwikkelen tot operationele wat-als-analyses naarmate er actuele gegevens beschikbaar komen. Een statisch model in ETAP-stijl biedt al ondersteuning voor offline scenario's, zoals het schakelen voor onderhoud, het toevoegen van apparatuur of het testen of een bepaalde configuratie de elektrische infrastructuur zwaar belast. Het verbeterde bedrijfsmodel koppelt actuele belastinggegevens aan de simulatielaag, zodat operators kunnen beoordelen wat er gebeurt wanneer koelmachines worden uitgeschakeld, het verbruik verschuift of grote AI-clusters op volle kracht gaan draaien, voordat ze wijzigingen in de praktijk doorvoeren. EcoStruxure Power Monitoring Expert biedt ondersteuning voor stroomanalyse, analyse van golfvormen bij spanningsstoringen, alarmgroepering, het bijhouden van systeemcapaciteit en analyse van de stroomkwaliteit, terwijl EcoStruxure IT ondersteuning biedt voor monitoring, planning, modellering, stroom- en energieanalyse en optimalisering van de koeling.