AI 팩토리 허브: 그리드에서 칩까지, 칩에서 칠러까지 아우르는 AI 인프라

AI 팩토리는 AI 모델의 훈련 및 배포를 위해 하나의 대규모 컴퓨팅 클러스터로 운영되도록 목적에 맞게 구축된 시설입니다. 혼합 워크로드를 지원하는 기존 데이터 센터와 달리 AI 팩토리는 대규모 환경에서 최대 GPU 처리량을 달성하도록 최적화됩니다. NVIDIA의 Jensen Huang이 설명한 것처럼, 이러한 시설은 생산 공장처럼 작동합니다. 데이터와 컴퓨팅이 입력되고 학습된 모델과 결과물이 산출됩니다.

Schneider Electric 백서 110: 6가지 AI 특성이 데이터 센터 설계를 변화시키는 방법에 설명된 것처럼, 이러한 대규모 GPU 클러스터는 AI 모델을 훈련할 때 높은 전력 요구로 인해 동시에 최대 전력을 사용합니다. 기존 데이터 센터는 평균 부하와 부하가 분산되어 발생하는 특성을 고려해 용량을 산정했지만, AI 팩토리는 동시 최대 부하를 기준으로 용량을 산정해야 합니다. 이는 UPS 시스템, 개폐기 및 유틸리티 연계에 영향을 미치는 근본적으로 다른 전기 설계 요구 사항입니다.

최신 AI 컴퓨팅의 열 설계 전력(TDP)이 증가하면서 랙 밀도는 200kW를 훨씬 넘어 공기 냉각의 열적 한계를 크게 초과합니다. Schneider Electric 백서 133: AI 워크로드가 있는 데이터 센터의 액체 냉각 아키텍처 탐색에 설명된 것처럼 랙당 약 20~30kW를 초과하면 다이렉트-투-칩 액체 냉각이 필요합니다. 물은 열전도율과 열용량이 높아 이러한 고밀도 환경에서 공기보다 훨씬 우수한 냉각 효과를 제공합니다. 특히 현재 세대의 많은 AI 서버는 팬이 전혀 없는 상태로 제공되므로 전체 열 부하가 시설 수준의 액체 냉각 인프라로 이동합니다.

이 기사에서 Schneider Electric의 수석 AI 애드버킷이자 전문가인 Steven Carlini가 설명했듯이, 데이터 센터는 특정 애플리케이션과 관련 서비스를 위한 IT 인프라를 보관하는 물리적 건물 및 시설입니다. 또한 이러한 애플리케이션과 관련된 데이터를 저장하고 관리하는 저장소 역할을 합니다. 반면 AI 팩토리는 데이터 센터에서 디지털 출력을 생성하는 시설입니다.

AI 팩토리는 모델 훈련과 미세 조정부터 추론 수행에 이르기까지 전체 AI 수명 주기를 관리합니다. AI 모델이 점점 더 자율적으로 발전함에 따라, 최적화된 추론(Inference) 워크로드는 새로운 데이터를 기반으로 지속적으로 실행되어 추가적인 가치를 창출할 것으로 기대됩니다. 기존 데이터 센터는 이러한 높은 전력 밀도와 높은 열 발생량을 지원할 수 없는 반면, AI 팩토리는 이러한 운영 요구 사항을 충족하기 위해 혁신적인 참조 설계를 사용합니다.

디지털 트윈은 배포 전과 배포 중, 그리고 운영 중 지속적으로 시설의 가상 모델에서 인프라를 시뮬레이션하고 검증할 수 있도록 하여 위험을 줄입니다. 구축 전에는 전력, 냉각 및 워크로드 동작을 모델링하여 구축 후 수정 시 많은 비용이 발생할 수 있는 설계 결함을 조기에 파악합니다(예: 부족한 냉각 용량 또는 제한된 전기 용량).

배포 중에는 디지털 트윈을 통해 실제 워크로드 시뮬레이션을 사용하여 조립식 구축과 기존 구축 방식을 비교할 수 있습니다. 팀은 사양서만을 기준으로 기술을 선택하는 대신 설치 결정이 확정되기 전에 시뮬레이션된 AI 워크로드에서 실제 동작을 검증할 수 있습니다. 운영이 시작되면 디지털 트윈은 실시간 데이터를 사용하여 계획된 변경 사항을 실제 환경에 적용하기 전에 그 영향을 시뮬레이션합니다(예: 새로운 GPU 클러스터 추가 또는 냉각 구역 재조정). 또한 고장의 초기 징후를 감지하여 훈련 작업이 중단되기 전에 팀이 개입할 수 있는 충분한 시간을 확보할 수 있습니다.

AI 팩토리에서는 예기치 않은 다운타임을 허용할 수 없으며, 단 한 번의 고장으로도 수주간 진행되는 훈련 작업이 중단될 수 있습니다. 고정된 일정이나 사후 수리에 기반한 기존 유지보수 모델만으로는 더 이상 충분하지 않습니다. 모범 사례는 실시간 데이터를 사용하여 필요한 경우에만 장비를 정비하는 상태 기반 유지보수(CBM)입니다.

Schneider Electric의 EcoCare 모델은 연중무휴 모니터링, AI 기반 분석 및 전문가 지원을 통해 이러한 접근 방식을 적용합니다. 무정전 전원 공급 장치(UPS)와 개폐기의 최대 부하를 관리하기 위해 전기 시스템을 지속적으로 모니터링합니다. 예측 유지보수로 전환하면 운영자는 고장이 발생하기 전에 이를 방지하고 핵심 AI 인프라의 지속적인 운영을 유지할 수 있습니다.

AI 팩토리의 지속가능성은 더 이상 에너지 소비만으로 측정되지 않습니다. 업계가 발전함에 따라 조직은 AI 인프라의 에너지 효율과 경제적 생산성을 모두 반영하는 메트릭인 달러당 와트당 토큰에 점점 더 주목하고 있습니다. 첨단 전력 분배, 액체 냉각, 자동화 및 디지털 트윈 기술은 AI 팩토리가 더 적은 자원으로 더 많은 AI 출력을 생성하도록 지원하여 운영 비용과 환경 영향을 줄입니다. Schneider Electric의 종합 인프라 솔루션은 고객이 지속가능성 목표를 지원하면서 AI 생산성을 높일 수 있도록 합니다.

이 Data Center Dynamics(DCD) 기사에서 업계가 지속가능한 AI 인프라를 어떻게 재정의하고 있는지 읽어보십시오

AI 팩토리는 AI 훈련 및 추론 워크로드를 확장하면서 여러 과제에 직면합니다. 주요 과제로는 방대한 컴퓨팅 및 GPU 자원 관리, 기하급수적인 데이터 증가 대응, 고속 네트워킹 확보, 전력 및 냉각 수요 제어가 있습니다. 조직은 사이버 보안, 데이터 개인정보 보호, 규제 준수 및 증가하는 운영 비용에도 대응해야 합니다. 또한 성능과 신뢰성을 유지하면서 인프라 활용도를 극대화하는 작업은 복잡할 수 있습니다. 성공적인 AI 팩토리를 위해서는 비용과 지속가능성을 최적화하면서 AI 혁신을 가속화할 수 있는 확장 가능하고 에너지 효율적이며 안전한 인프라가 필요합니다.