Dizajn AI fabrike – od dizajna za opterećenja visoke gustine do kompletnih AI fabrika

Polazna tačka za dizajn data centra

Referentni dizajn data centra je unapred proveren, u potpunosti projektovan nacrt koji definiše kako treba organizovati napajanje električnom energijom, hlađenje i IT infrastrukturu za izgradnju pouzdanog i skalabilnog data centra spremnog za veštačku inteligenciju.

Koristi dokazane, standardizovane rasporede.
Obezbeđuje kompatibilnost infrastrukture.
Smanjuje rizik tokom primene..
Podržava AI radna opterećenja.
Omogućava bržu izgradnju lokacija data centara.

U bliskoj saradnji sa svim vodećim proizvođačima GPU i TPU jedinica, servera i integratora, nastavljamo da proširujemo svoju biblioteku potpuno projektovanih referentnih dizajna kako bismo odgovorili na brz tempo razvoja i promena kroz koje industrija prolazi. AI zahteva sve veći broj „referentnih dizajna“ – mi obezbeđujemo sve što je potrebno.

Ako je vaša postojeća infrastruktura zasnovana na AC napajanju, primarno pitanje za naredni period nije da li je potrebno da sve zamenite, već gde uvesti konverziju na DC napajanje i koliko blizu reku možete da je postavite. Praktičan kompromis svodi se na izbor između zadržavanja postojeće distribucije uzvodnog AC napajanja, dodavanja pomoćnih bočnih modula napajanja uz rekove i obezbeđivanja dovoljno fizičkog prostora i električnog kapaciteta za buduća opterećenja od 800 VDC. Pristup zasnovan na bočnim modulima napajanja ili energetskim rekovima omogućava operaterima da implementiraju opremu napona do 800 VDC bez konverzije celog data centra na distribuciju DC napajanja. To je važno zato što će se rano usvajanje 800 VDC tehnologije primenjivati na specifične AI klastere velike gustine, a ne na sva opterećenja u objektu. Veća buduća proširenja mogu opravdati centralizovaniju podršku za 800 VDC, ali tada je reč o optimizaciji na nivou sale za podatke ili klastera, a ne o kratkoročnom zahtevu za celu lokaciju.

Ključni kompromis ovde je fleksibilnost naspram izolacije. Zajednički lanac napajanja može operaterima pružiti veću fleksibilnost u periodima kada je opterećenje mehaničkih sistema manje (na primer, kada rashladni uređaji rade sa manjim intenzitetom, pa se veći deo raspoloživog kapaciteta može usmeriti na IT opterećenje). Odvojena arhitektura pruža IT sistemima jasniju granicu za buduće izmene, uključujući nadogradnju na 800 VDC, ali istovremeno otežava preusmeravanje energije namenjene mehaničkim sistemima, jer je taj kapacitet vezan za sopstveni sistem napajanja. Pre nego što se opredelite za bilo koju strukturu, operateri treba da testiraju sezonske režime rada, scenarije održavanja, opterećenje generatora, putanje napajanja CDU jedinice i očekivanu podelu između IT opreme sa vazdušnim hlađenjem, vodenim hlađenjem i buduće opreme koja koristi DC napajanje.

Postoje dva pristupa, a pravi izbor zavisi od toga da li radno opterećenje može da podnese prekid rada. Za inferencije okruženja visoke dostupnosti ili radna opterećenja koja se ne mogu lako prebaciti na drugu lokaciju, UPS sistem i dalje predstavlja bliži sloj zaštite, jer omogućava neprekidan kontinuitet napajanja, zaštitu od kratkotrajnih prekida i stabilizaciju AI opterećenja. BESS sistem ima drugačiju ulogu: podrška za mrežne usluge, ograničavanje vršne potrošnje, korišćenje obnovljivih izvora, dugotrajnije skladištenje energije i balansiranje opterećenja. Važna razlika je u tome da BESS sistem tipično može da skladišti energiju u trajanju od jednog do dva sata i funkcioniše više kao linijski-interaktivni izvor energije. Ukratko, BESS sistem može da se koristi kako bi se ojačala energetska strategija lokacije, ali se ne može smatrati direktnom zamenom za UPS sistem dok se ne definišu zahtevi opterećenja i kontinuiteta napajanja.

Prefabrikovana rešenja mogu da prevaziđu okvire energetskih modula, ali operateri treba da sagledaju koje aktivnosti na lokaciji žele da eliminišu iz kritičnog puta realizacije. Glavni prefabrikovani elementi mogu uključivati opremu srednjeg napona, e-kuće, niskonaponske sisteme napajanja, energetske module, IT pod-ove, integrisane rekove, upakovane rashladne uređaje sa ugrađenim pumpama i izabrane cevovodne sisteme ili montažne servisne koridore. Praktična vrednost dolazi od smanjenja potrebe za koordinacijom na terenu između izvođača električarskih radova, izvođača mehaničkih radova, upravnika za izgradnju i timova za puštanje sistema u rad. Energetski moduli mogu integrisati UPS sisteme, razvodne uređaje, baterije, ATS i softver za upravljanje, sa navedenim konfiguracijama uključujući 1.250 kW modele na 480 V/60 Hz, kao i 2 MW, 2,25 MW i 2,5 MW modele na 400 V.

Koristan način razmišljanja o referentnim dizajnima nije „standardno naspram prilagođenog“ već „proverena početna osnova naspram projektovanja iz početka.“ Referentni dizajni spremni za veštačku inteligenciju mogu da skrate ciklus planiranja tako što projektnim timovima daju unapred projektovanu osnovu za napajanje, hlađenje, IT raspored i integraciju kontrola. Trenutni referentni dizajni preduzeća Schneider Electric uključuju 7.392 MW NVIDIA GB200 NVL72 AI klastere sa vodenim hlađenjem, 7.536 MW NVIDIA GB300 NVL72 dizajne, 10 MW–12,4 MW Vera Rubin NVL72 dizajne i 1 MW prefabrikovana AI rešenja sa 12 rekova. Kompromis je u tome što se modularni elementi mogu prefabrikovati u većim celinama, dok kompletna arhitektura lokacije i dalje zahteva integraciju kroz priključak na elektroenergetsku mrežu, mehanički pogon, srednjenaponsku distribuciju, strategiju IT primene i redosled građevinskih radova.

Redundantni kapacitet se može koristiti za dodatnu računarsku snagu, ali operateri to treba da posmatraju kao odluku o režimu rada, a ne kao slobodan raspoloživ kapacitet. Tradicionalni objekti sa mogućnošću istovremenog održavanja zadržavaju električni i mehanički rezervni kapacitet kako bi sistemi mogli da se isključe radi održavanja, dok IT opterećenje ostaje aktivno. AI menja ekonomski pritisak, jer je zbog kapaciteta elektroenergetske mreže, brzine primene i zahtevi za dodatnom računarskom snagom sve teže opravdati postojanje redundantnih kapaciteta. Na primer, objekat projektovan da izdrži IT opterećenja od 200 MW tokom paralelnog održavanja može fizički raditi na višem nivou, kao što je opterećenje od 240 MW, ali ta dodatna snaga dolazi iz kapaciteta koji je ranije bio rezervisan za scenarije održavanja i otkazivanja sistema. Pravo pitanje je da li preduzeće više vrednuje dodatne tokene po objektu nego što vrednuje originalnu strategiju redundantnosti. Pre nego što počnete da smanjujete marže, jasno definišite svako radno stanje: normalni režim s redundantnošću, režim visoke propusnosti, režim održavanja i režim reagovanja na otkazivanje sistema.

Radno opterećenje treba da bude osnova za projektovanje, ali tek nakon što operater utvrdi da li će objekat podržavati opštu kolokaciju, Neocloud okruženje visoke gustine, klastere za obuku, platforme za inferenciju ili kombinaciju tih modela. Opšti objekat za kolokaciju možda će morati da sačuva opcionalnost na nivou ukupnog napajanja i hlađenja dok zahtevi zakupaca ne postanu jasni. Fokusirani AI oblak ili namenska AI fabrika mogu da budu projektovani tako da se direktno oslanjaju na poznatu GPU razvojnu mapu, topologiju klastera, gustinu rek sistema i zahteve za hlađenjem. Ponuda preduzeća Schneider Electric za AI data centre pristupa istom problemu kroz integrisanu infrastrukturu za hlađenje, napajanje, softver, pod i rek sisteme, kao i usluge tokom radnog veka proizvoda za zahtevna AI opterećenja.

Nemojte projektovati ceo data centar kao da će svako opterećenje postati 800 VDC. Kada je reč o projektovanju, praktično pitanje je gde 800 VDC ulazi u arhitekturu i koliko veliki treba da bude blok za DC konverziju. Rane implementacije mogu koristiti bočne module uz rekove, često usklađene sa jednim ili dva GPU reka, unutar postojećeg AC data centra bez veće modernizacije uzvodne infrastrukture. Veći klasteri u budućnosti mogu opravdati centralizovane 800 VDC blokove snage između 2 MW i 5 MW, uz mogućnost daljeg skaliranja ka većim celinama, dok dugoročnije arhitekture mogu podrazumevati uvođenje srednjeg napona u konverziju baziranu na poluprovodničkim transformatorima, na skali od oko 10 MW. Arhitekture sa 800 VDC rešavaju problem sa rekovima gustine preko 400 kW tako što konverziju sa naizmenične (AC) na jednosmernu struju (DC) izmeštaju izvan IT reka i koriste energetske rekove ili bočne module da smanje smetnje u postojećim objektima koji koriste naizmeničnu struju.

Ključni kompromis je izolacija naspram dinamičkog deljenja kapaciteta. Odvojeni sistemi napajanja mogu ublažiti granice između IT okruženja i infrastrukture za hlađenje, posebno kada veliki rashladni uređaji, CDU jedinice i sale podataka nisu čisto usklađeni po kapacitetu. Zajednička infrastruktura može očuvati operativnu fleksibilnosti u uslovima slobodnog hlađenja, s obzirom na to da se neiskorišćeni mehanički kapacitet može preusmeriti na IT opterećenja, ako to dozvoljavaju transformator i arhitektura nizvodne infrastrukture. Rizik potpunog razdvajanja je zarobljena električna energija: ako mehaničko opterećenje padne, ali IT transformator već radi na granici svog kapaciteta, operater ne može povratiti taj neiskorišćeni kapacitet hlađenja u svrhu povećanja računarske snage. Važno je naglasiti: ovaj projektni izbor zahteva modelovanje prilagođeno konkretnoj lokaciji, uzimajući u obzir veličinu sale podataka, kapacitet bloka rashladnog uređaja, dodeljivanje transformatora, ciljni nivo redundantnosti i sezonske režime rada, pre nego što se može smatrati pouzdanim standardom.

Modelovanje elektroenergetskog sistema, protoka vazduha i protoka tečnosti trebalo bi da se uradi pre nego što se projektovanje privede kraju, jer svaki od ovih modela pokriva različitu klasu mogućih otkazivanja sistema. Modelovanjem elektroenergetskog sistema se proveravaju kvarovi na strujnim kolima, zaštita, bezbednost i pouzdanost, uz analizu hipotetičkih scenarija u pogledu održavanje i dodatnih opterećenja. CFD ili simulacija protoka vazduha proverava ispravnost sistema zatvaranja, kapacitet vazdušnog hlađenja i ponašanje sistema u slučaju redundantnog hlađenja. Modelovanjem cevovoda i protoka tečnosti proverava se da li svaki rek dobija potrebnu količinu rashladne tečnosti u normalnom režimu rada, u redundantnom režimu, kao i tokom održavanja. Naredna faza podrazumeva usklađivanje modela ponašanja IT opterećenja sa modelom ponašanja objekta, tako da se fluktuacije AI opterećenja mogu prenositi kroz sisteme napajanja, CDU jedinice, kontrolne sisteme rashladnih uređaja i rashladne petlje pre puštanja lokacije u rad pod realnim opterećenjem.

Model treba da nastane u fazi projektovanja i da se razvija prema operativnoj analizi hipotetičkih scenarija, kako budu pristizali podaci iz stvarnog rada sistema. Statični model u ETAP stilu već može da podrži scenarije rada van mreže, kao što su prebacivanje u režim održavanja, dodavanje nove opreme ili provera da li određena konfiguracija prekomerno opterećuje infrastrukturu elektroenergetskog sistema. Snažniji operativni model povezuje stvarne podatke o opterećenju sa simulacionim slojem kako bi operateri mogli da procene šta se dešava kada su rashladni uređaji isključeni, kada dođe do preraspodele opterećenja ili kada dođe do povećanja velikih AI klastera pre izvršavanja promena na terenu. EcoStruxure Power Monitoring Expert podržava analizu sistema napajanja, analitiku talasnih oblika naponskih poremećaja, grupisanje alarma, praćenje kapaciteta sistema i analizu kvaliteta sistema napajanja, dok EcoStruxure IT podržava nadzor, planiranje, modelovanje, analizu sistema napajanja i energije, kao i optimizaciju hlađenja.