AI-fabriekshub: AI-infrastructuur van het elektriciteitsnet tot de chip en van de chip tot de koelmachine

Een AI-fabriek is een speciaal gebouwde faciliteit die is ontworpen om te functioneren als één groot computingcluster voor het trainen en implementeren van AI-modellen. In tegenstelling tot traditionele datacenters die gemengde workloads ondersteunen, zijn AI-fabrieken geoptimaliseerd voor maximale GPU-doorvoer op grote schaal. Zoals Jensen Huang van NVIDIA het omschrijft, werken deze faciliteiten als productiefabrieken: er gaan data en rekenkracht in, en er komen getrainde modellen en resultaten uit.

Zoals beschreven in White Paper 110: Hoe 6 AI-kenmerken het ontwerp van datacenters veranderen, van Schneider Electric, zorgen de omvang en de stroombehoefte van deze GPU-clusters bij het trainen van AI-modellen voor gelijktijdige piekstroomverbruik. Terwijl traditionele datacenters werden gedimensioneerd op basis van gemiddelde, gediversifieerde belastingen, moeten AI-fabrieken worden gedimensioneerd voor de synchrone piek: een fundamenteel andere eis aan het elektrisch ontwerp die gevolgen heeft voor UPS-systemen, schakelapparatuur en de aansluiting op het elektriciteitsnet.

Door het stijgende thermische ontwerpvermogen (TDP) van moderne AI-rekenkracht loopt de rackdichtheid op tot ver boven de 200 kW, wat de thermische grenzen van luchtkoeling ruimschoots overschrijdt. Zoals beschreven in White Paper 133: Navigeren door vloeistofkoelarchitecturen voor datacenters met AI-werkbelastingen, van Schneider Electric, is vloeistofkoeling direct op de chip noodzakelijk bij een vermogen van meer dan ongeveer 20-30 kW per rack. Door zijn warmtegeleidingsvermogen en warmtecapaciteit is water bij deze dichtheden vele malen effectiever dan lucht. Een cruciaal punt is dat veel AI-servers van de huidige generatie helemaal geen ventilatoren hebben, waardoor de volledige warmteafvoer volledig wordt overgelaten aan de vloeistofkoelsystemen op faciliteitsniveau.

Zoals in dit artikel uitgelegd door onze vaste AI-voorvechter en -expert bij Schneider Electric, Steven Carlini, zijn datacenters fysieke gebouwen en faciliteiten waarin IT-infrastructuur wordt ondergebracht voor specifieke toepassingen en bijbehorende services. Ze fungeren ook als opslagplaatsen voor het bewaren en beheren van gegevens die verband houden met deze toepassingen. Aan de andere kant zijn AI-fabrieken faciliteiten die digitale output produceren vanuit datacenters.

AI-fabrieken beheren de volledige levenscyclus van AI, van het trainen en verfijnen van modellen tot het uitvoeren van inferentie. Naarmate AI-modellen steeds zelfstandiger worden, wordt verwacht dat geoptimaliseerde inferentietaken continu op basis van nieuwe gegevens worden uitgevoerd, waardoor extra waarde wordt gecreëerd. Terwijl traditionele datacenters deze hogere vermogensdichtheden en intense warmteafgifte niet aankunnen, maken AI-fabrieken gebruik van innovatieve referentieontwerpen om aan deze operationele eisen te voldoen.

Digital twins verminderen risico's doordat ze operators in staat stellen de infrastructuur te simuleren en te valideren aan de hand van een virtueel model van de faciliteit, zowel vóór als tijdens de implementatie en doorlopend tijdens het gebruik. Voorafgaand aan de bouw maken ze simulaties van het stroomverbruik, de koeling en het werkbelastingsgedrag om ontwerpfouten in een vroeg stadium op te sporen, aangezien het na de bouw veel geld zou kosten om deze te verhelpen (bijvoorbeeld te kleine koeling of beperkte elektrische capaciteit).

Tijdens de implementatie helpen digital twins bij het vergelijken van opties, zoals prefabricage en traditionele bouwmethoden, aan de hand van simulaties van werkelijke werklast. In plaats van technologieën te selecteren op basis van specificatiebladen, kunnen teams het daadwerkelijke gedrag onder gesimuleerde AI-werkbelastingen testen voordat definitieve beslissingen over de installatie worden genomen. Zodra ze in gebruik zijn, gebruiken digital twins realtime gegevens om de gevolgen van een geplande wijziging (bijvoorbeeld het toevoegen van een nieuw GPU-cluster of het opnieuw in evenwicht brengen van koelzones) te simuleren voordat deze in de productieomgeving wordt doorgevoerd. Ze kunnen ook vroege tekenen van storingen opsporen, waardoor teams voldoende tijd hebben om in te grijpen voordat een trainingsrun wordt onderbroken.

AI-fabrieken kunnen zich geen ongeplande uitvaltijd veroorloven; één enkele storing kan een trainingsproces van meerdere weken tot stilstand brengen. Traditionele onderhoudsmodellen die gebaseerd zijn op vaste schema's of reactieve reparaties volstaan niet langer. De beste werkwijze is conditiegericht onderhoud (CBM), waarbij op basis van realtime gegevens apparatuur alleen wordt onderhouden wanneer dat nodig is.

Het EcoCare-model van Schneider Electric past deze aanpak toe met 24/7-monitoring, AI-gestuurde analyses en deskundige ondersteuning. Elektrische systemen worden voortdurend bewaakt om piekbelastingen op ononderbreekbare voedingen (UPS'en) en schakelapparatuur te beheren. Door over te stappen op preventief onderhoud kunnen operators storingen voorkomen voordat ze zich voordoen en de continue werking van cruciale AI-infrastructuur waarborgen.

Duurzaamheid in AI-fabrieken wordt niet langer alleen afgemeten aan energieverbruik. Naarmate de sector zich verder ontwikkelt, richten organisaties zich steeds meer op tokens per watt per dollar, een maatstaf die een beeld geeft van zowel de energie-efficiëntie als de economische productiviteit van AI-infrastructuur. Geavanceerde stroomdistributie, vloeistofkoeling, automatisering en digital twin-technologieën helpen AI-fabrieken meer AI-output te genereren met minder middelen, waardoor de bedrijfskosten en de impact op het milieu afnemen. De complete infrastructuuroplossingen van Schneider Electric helpen klanten hun AI-productiviteit te verbeteren en tegelijkertijd hun duurzaamheidsdoelen te ondersteunen.

Lees in dit artikel van Data Center Dynamics (DCD) hoe de sector zorgt voor een nieuwe invulling van duurzame AI-infrastructuur

AI-fabrieken worden geconfronteerd met verschillende uitdagingen wanneer ze AI-training en inferentietaken opschalen. Grote obstakels zijn onder andere: beheren van enorme rekenkracht- en GPU-resources, omgaan met exponentiële datagroei, zorgen voor snelle netwerken en regelen van de vraag naar stroom en koeling. Organisaties moeten ook aandacht besteden aan cyberbeveiliging, gegevensprivacy, naleving van regelgeving en stijgende operationele kosten. Daarnaast kan het maximaliseren van het gebruik van de infrastructuur met behoud van prestaties en betrouwbaarheid complex zijn. Om te slagen hebben AI-fabrieken een schaalbare, energie-efficiënte en veilige infrastructuur nodig die snellere AI-innovatie mogelijk maakt en tegelijkertijd de kosten en duurzaamheid optimaliseert.