AI Factory Hub: Infraštruktúra AI Grid-to-Chip a Chip-To-Chiller

Továreň na umelú inteligenciu je špecializované zariadenie navrhnuté tak, aby fungovalo ako jeden veľký výpočtový klaster určený na trénovanie a nasadzovanie modelov umelej inteligencie. Na rozdiel od tradičných dátových centier, ktoré podporujú zmiešané pracovné zaťaženia, sú továrne na umelú inteligenciu optimalizované na dosiahnutie maximálnej priepustnosti grafických procesorov vo veľkom meradle. Ako to opisuje Jensen Huang zo spoločnosti NVIDIA, tieto zariadenia fungujú ako výrobné závody: vstupujú do nich dáta a výpočtový výkon a na výstupom sú vytrénované modely a výsledky.

Ako sa podrobne uvádza v bielej knihe Schneider Electric 110: Ako 6 atribútov umelej inteligencie mení dizajn dátového centra, veľký rozsah a energetické potreby týchto GPU klastrov pri tréningu modelov umelej inteligencie súčasne odoberajú špičkový výkon. Zatiaľ čo tradičné dátové centrá boli dimenzované na priemerné a rôznorodé zaťaženie, továrne na umelú inteligenciu musia byť dimenzované na synchrónny špičkový výkon – ide o zásadne odlišnú požiadavku na elektrické zapojenie, ktorá má vplyv na systémy UPS, rozvádzače a pripojenie k distribučnej sieti.

Zvyšujúci sa tepelný výkon (TDP) moderných počítačov s umelou inteligenciou zvyšuje hustotu rackov vysoko nad 200 kW, čo ďaleko presahuje tepelné limity vzduchového chladenia. Ako je zdokumentované v bielej knihe 133 spoločnosti Schneider Electric: Navigating Liquid Cooling Architectures for Data Centers with AI Workloads, chladenie kvapalinou typu „direct-to-chip“ sa stáva nevyhnutným pri výkone nad približne 20 – 30 kW na rack. Vďaka svojej tepelnej vodivosti a tepelnej kapacite je voda pri týchto hustotách o niekoľko rádov účinnejšia ako vzduch. Je dôležité poznamenať, že mnohé servery s umelou inteligenciou súčasnej generácie sa dodávajú úplne bez ventilátorov, čím sa celá tepelná záťaž presúva na kvapalinové chladiace systémy na úrovni zariadenia.

Ako vysvetľuje náš rezident Steven Carlini, hlavný obhajca a odborník na umelú inteligenciu spoločnosti Schneider Electric, v tomto článku, dátové centrá sú fyzické budovy a zariadenia, v ktorých je uložená IT infraštruktúra pre konkrétne aplikácie a súvisiace služby. Slúžia tiež ako úložiská na ukladanie a správu údajov súvisiacich s týmito aplikáciami. Na druhej strane, továrne na umelú inteligenciu sú zariadenia, ktoré produkujú digitálny výstup z dátových centier.

Továrne na umelú inteligenciu riadia celý životný cyklus umelej inteligencie, od trénovania a jemného ladenia modelu až po uskutočňovanie inferencie. Vzhľadom na to, že modely umelej inteligencie sú čoraz autonómnejšie, očakáva sa, že optimalizované úlohy inferencie budú bežať nepretržite na základe nových údajov, čím budú vytvárať dodatočnú hodnotu. Zatiaľ čo tradičné dátové centrá nedokážu zvládnuť takéto vyššie hustoty výkonu a intenzívny tepelný výkon, továrne na umelú inteligenciu využívajú inovatívne referenčné návrhy, aby splnili tieto prevádzkové požiadavky.

Digitálne dvojčatá znižujú riziko tým, že umožňujú prevádzkovateľom simulovať a overovať infraštruktúru na virtuálnom modeli zariadenia pred a počas nasadenia a priebežne počas prevádzky. Ešte pred samotnou výstavbou simulujú spotrebu energie, chladenie a správanie sa pracovného zaťaženia, aby včas odhalili konštrukčné chyby, ktorých náprava po dokončení výstavby by bola nákladná (napr. nedostatočné chladenie alebo obmedzená elektrická kapacita).

Počas nasadenia pomáhajú digitálne dvojčatá porovnávať možnosti, ako napríklad prefabrikáty v porovnaní s tradičnými zostavami, pomocou simulácií skutočného pracovného zaťaženia. Namiesto toho, aby tímy vyberali technológie na základe technických listov, môžu si overiť ich skutočné správanie v simulovaných podmienkach zaťaženia umelou inteligenciou ešte predtým, ako sa definitívne rozhodnú o inštalácii. Po spustení využívajú digitálne dvojčatá údaje v reálnom čase na simuláciu vplyvu plánovanej zmeny (napr. pridanie nového GPU klastra alebo prebalansovanie chladiacich zón) ešte pred jej zavedením do prevádzky. Dokážu tiež odhaliť prvé náznaky poruchy, čím poskytujú tímom dostatočný čas na zásah ešte predtým, ako dôjde k prerušeniu tréningového behu.

Továrne na umelú inteligenciu si nemôžu dovoliť neplánované výpadky; jediná porucha môže zastaviť niekoľkotýždňový tréningový proces. Tradičné modely údržby založené na pevných harmonogramoch alebo reaktívnych opravách už nestačia. Osvedčeným postupom je údržba založená na stave (CBM), pri ktorej sa na základe údajov v reálnom čase vykonáva údržba zariadení len v prípade potreby.

Model EcoCare spoločnosti Schneider Electric uplatňuje tento prístup s nepretržitým monitorovaním, analýzou založenou na umelej inteligencii a odbornou podporou. Elektrické systémy sa nepretržite monitorujú s cieľom riadiť špičkové zaťaženie zdrojov neprerušiteľného napájania (UPS) a rozvádzačov. Prechodom na prediktívnu údržbu môžu prevádzkovatelia predchádzať poruchám ešte predtým, ako k nim dôjde, a zabezpečiť nepretržitú prevádzku kľúčovej infraštruktúry umelej inteligencie.

Udržateľnosť v továrňach na umelú inteligenciu sa už nemeria len spotrebou energie. S rozvojom odvetvia sa organizácie čoraz viac zameriavajú na tokeny na watt na dolár, čo je metrika, ktorá odráža energetickú účinnosť aj ekonomickú produktivitu infraštruktúry umelej inteligencie. Pokročilá distribúcia energie, chladenie kvapalinou, automatizácia a technológie digitálneho dvojčaťa pomáhajú továrňam na umelú inteligenciu vytvárať viac výstupov umelej inteligencie s menším množstvom zdrojov, čím sa znižujú prevádzkové náklady a vplyv na životné prostredie. Komplexné infraštruktúrne riešenia spoločnosti Schneider Electric pomáhajú zákazníkom zvyšovať produktivitu umelej inteligencie a zároveň podporujú ich ciele v oblasti udržateľnosti.

V tomto článku Data Center Dynamics (DCD) si prečítajte, ako toto odvetvie nanovo definuje udržateľnú infraštruktúru AI v dátovom centre

Továrne na umelú inteligenciu čelia viacerým výzvam pri škálovaní tréningových a inferenčných úloh umelej inteligencie. Medzi hlavné prekážky patrí správa obrovských výpočtových a GPU zdrojov, zvládanie exponenciálneho rastu dát, zabezpečenie vysokorýchlostných sietí a kontrola požiadaviek na napájanie a chladenie. Organizácie musia riešiť aj kybernetickú bezpečnosť, ochranu osobných údajov, dodržiavanie právnych predpisov a rastúce prevádzkové náklady. Okrem toho maximalizácia využitia infraštruktúry pri zachovaní výkonu a spoľahlivosti môže byť zložitá. Na dosiahnutie úspechu potrebujú továrne na umelú inteligenciu škálovateľnú, s vysokou energetickou účinnosťou a bezpečnú infraštruktúru, ktorá umožňuje rýchlejšie inovácie v oblasti umelej inteligencie a zároveň optimalizuje náklady a udržateľnosť.