AI 서버에서 액체 냉각 솔루션의 부상: TrendForce 분석

 

Ⅰ 소개

 

TrendForce의 최근 조사에 따르면, 2024년 4분기에 NVIDIA Blackwell 플랫폼이 출시될 것으로 예상되면서 액체 냉각 솔루션의 보급률이 급증할 것으로 예상됩니다. 이 비율은 2024년 약 10%에서 2024년 10%로 증가할 것으로 예상됩니다. 2025년에는 20% 이상. ESG(환경, 사회, 거버넌스) 요소에 대한 전 세계적인 인식 증가와 CSP(클라우드 서비스 제공업체)의 AI 서버 구축 가속화가 기존 공랭 방식에서 획기적인 변화를 가져올 수 있는 길을 열어주고 있습니다. 고급 액체 냉각 솔루션을 제공합니다.

 

액체 냉각은 향상된 열 관리, 소음 수준 감소, 에너지 효율성 향상 등 공기 냉각에 비해 여러 가지 이점을 제공합니다. 특히 데이터 집약적인 애플리케이션에서 AI 기능에 대한 수요가 증가함에 따라 최적의 서버 성능을 유지하기 위해 액체 냉각 시스템으로의 전환이 점점 더 중요해지고 있습니다.

 

▲ AI 서버 환경에 사용되는 액체 냉각 시스템

 

 

Ⅱ AI 서버 시장에서의 엔비디아의 지배력

 

글로벌 AI 서버 시장에서 NVIDIA는 2024년 현재 GPU AI 서버 부문에서 90%에 가까운 시장 점유율을 차지하며 계속해서 선두를 달리고 있습니다. AMD는 약 8%의 시장 점유율로 크게 뒤지고 있습니다. 이러한 지배력은 주로 AI, 기계 학습 및 데이터 분석 분야의 광범위한 애플리케이션을 지원하는 NVIDIA의 최첨단 기술과 강력한 생태계에 기인합니다.

 

TrendForce는 올해 NVIDIA Blackwell의 출하 규모가 상대적으로 작다고 지적합니다. 이는 주로 플랫폼이 공급망 내에서 최종 테스트 및 검증 프로세스를 거치고 있기 때문에 고속 데이터 전송 및 냉각 설계와 같은 영역에서 지속적인 최적화가 필요합니다. 특히 GB200 랙 솔루션에서 Blackwell 플랫폼의 에너지 소비 증가로 인해 뛰어난 냉각 효율성이 필요하고 액체 냉각 솔루션 채택이 더욱 가속화됩니다.

 

▲ AI 서버용 엔비디아 블랙웰 플랫폼

 

액체 냉각의 장점에도 불구하고 현재 서버 생태계에서는 이 기술의 채택률이 여전히 낮습니다. ODM(Original Design Manufacturer)은 누출 및 냉각 효율성과 관련된 문제를 해결하기 위해 학습 곡선을 탐색해야 합니다. Blackwell 플랫폼에서 고급 GPU의 비율은 2025년까지 80%를 초과할 것으로 예상됨에 따라 이는 신흥 AI 수냉식 시장에서 전원 공급 장치 제조업체와 냉각 업계 간의 경쟁을 촉발하여 새로운 경쟁 환경으로 이어질 것입니다.

 

 

 

Ⅲ 대규모 CSP를 통한 구축 가속화

 

Google, AWS, Microsoft를 포함한 주요 클라우드 서비스 제공업체는 최근 몇 년 동안 주로 NVIDIA GPU와 자체 개발한 ASIC을 활용하여 AI 서버 배포를 빠르게 가속화했습니다. NVIDIA GB200 NVL72 캐비닛의 열 설계 전력(TDP)은 약 140kW이며, 이는 열 방출을 효과적으로 관리하기 위한 액체 냉각 솔루션의 긴급한 필요성을 강조합니다. 이러한 맥락에서 L2A(액체-공기) 냉각 방식이 주류 접근 방식이 될 것으로 예상됩니다.

 

▲ 데이터센터에 AI 서버 배치

 

NVIDIA의 GPU가 지배적인 반면, Google은 TPU(텐서 처리 장치)용 액체 냉각 솔루션을 적극적으로 탐색해 왔습니다. 이 기술에 대한 Google의 노력으로 인해 Google은 액체 냉각 채택 분야에서 가장 진보적인 미국 기업으로 자리매김하게 되었습니다. BOYD와 Cooler Master는 고성능 컴퓨팅 환경에서 최적의 온도를 유지하는 데 중요한 Google 냉각판의 주요 공급업체입니다.

 

중국 본토에서 Alibaba는 액체 냉각 데이터 센터를 공격적으로 확장하고 있으며, 이 고급 냉각 기술을 향한 전 세계적인 변화를 더욱 강조하고 있습니다. 다른 클라우드 서비스 제공업체는 자체 개발한 AI ASIC을 위해 주로 공랭식 솔루션에 계속 의존하고 있으며, 이는 액체 냉각식 시스템에 비해 성능이 저하될 수 있습니다.

 

 

IV 주요 공급업체 및 부품 지정

 

액체 냉각으로의 전환이 추진력을 얻음에 따라 클라우드 서비스 제공업체는 GB200 캐비닛의 액체 냉각 솔루션을 위한 주요 구성 요소 공급업체를 지정하고 있습니다. 현재 Qihong과 Cooler Master는 냉각판 공급업체를 선도하고 있으며 매니폴드 부품은 Cooler Master와 Shuanghong에서 공급합니다. 냉각수 분배 장치(CDU)는 Vertiv 및 Delta와 같은 업계 선두업체에서 제공합니다.

 

QD(빠른 연결 해제)와 같은 중요한 누출 방지 구성 요소의 경우 CPC, Parker Hannifin, Danfoss 및 Staubli와 같은 제조업체가 조달에 적극적으로 참여합니다. Jiazhe 및 Fushida와 같은 추가 공급업체가 검증 단계에 진입하면 2025년 상반기에 급속 분리 부품을 공급할 기회를 갖게 되어 현재의 수급 불균형을 완화하는 데 도움이 됩니다.

 

▲ 액체냉각 부품 주요 공급업체

 

 

Ⅴ 액체 냉각의 장점

 

향상된 냉각 효율성

액체 냉각 시스템은 공기 냉각 시스템보다 열을 더 효율적으로 제거하도록 설계되었습니다. 이는 높은 계산 요구로 인해 프로세서가 상당한 열을 발생시킬 수 있는 AI 애플리케이션에서 특히 중요합니다. 액체를 활용하여 구성 요소에서 열을 흡수하고 전달함으로써 서버는 더 낮은 온도에서 작동할 수 있으므로 열 조절 위험이 줄어들고 성능이 향상됩니다.

 

공간 최적화

액체 냉각 시스템은 기존 공기 냉각 솔루션보다 공간을 적게 차지하므로 데이터 센터 설계의 효율성이 더 높아집니다. 이러한 공간 절약 특성은 물리적 공간을 확장하지 않고 서버 용량을 최대화하려는 조직에 특히 유용합니다.

 

에너지 효율성

지속 가능성과 에너지 효율성에 대한 관심이 높아지면서 액체 냉각 솔루션은 데이터 센터의 전체 에너지 소비를 줄이는 데 도움이 될 수 있습니다. 팬과 에어컨 장치에 대한 의존도를 최소화함으로써 액체 냉각은 에너지 비용과 탄소 배출량을 낮출 수 있으며, 이는 많은 기업이 달성하려고 노력하는 ESG 목표에 부합합니다.

 

소음 감소

액체 냉각 시스템은 기존 공랭식 시스템보다 더 조용하게 작동하여 데이터 센터의 작업 환경을 더욱 쾌적하게 만듭니다. 이러한 소음 감소는 인구 밀집 지역 근처나 사무실 건물 내에 위치한 시설에 대한 중요한 고려 사항입니다.

 

 

Ⅵ 공통 과제 해결

 

이러한 이점에도 불구하고 액체 냉각으로의 전환에는 어려움이 따릅니다. 여기에는 다음이 포함됩니다.

 

초기 비용

액체 냉각 시스템에 대한 초기 투자 비용은 기존 공기 냉각 솔루션보다 높을 수 있습니다. 조직은 에너지 효율성 및 유지 관리에 대한 장기적인 이점 및 절감 효과와 이러한 비용을 비교 평가해야 합니다.

 

누출 우려

액체 냉각과 관련된 가장 중요한 과제 중 하나는 누출 위험입니다. 이러한 위험을 완화하고 시스템 신뢰성을 보장하려면 적절한 설계, 재료 선택 및 유지 관리 프로토콜이 필수적입니다.

 

유지 관리의 복잡성

액체 냉각 시스템은 공냉식 시스템에 비해 더 복잡한 유지 관리가 필요합니다. 조직은 액체 냉각 솔루션이 효과적이고 문제 없이 유지되도록 직원을 교육하거나 전문 서비스 제공업체를 참여시켜야 합니다.

 

 

Ⅶ 액체냉각의 미래 동향

 

AI 컴퓨팅에 대한 수요가 계속 증가함에 따라 다음과 같은 몇 가지 미래 추세가 액체 냉각 환경을 형성할 것으로 예상됩니다.

 

하이브리드 솔루션 채택

공냉식과 수냉식 기술을 결합한 하이브리드 냉각 시스템이 주목을 받을 것으로 보인다. 이러한 시스템은 다양한 워크로드와 운영 요구 사항에 맞춰 유연성과 효율성을 제공할 수 있습니다.

 

첨단소재

액체 냉각 부품용 고급 소재 개발은 성능과 신뢰성을 향상시킬 수 있습니다. 재료 과학의 혁신은 더 가볍고 내구성이 뛰어나며 효과적인 냉각 솔루션으로 이어질 수 있습니다.

 

AI 및 IoT와의 통합

AI와 IoT 기술을 냉각 시스템에 통합하면 환경 조건과 서버 워크로드에 따라 실시간 모니터링과 자동 조정이 가능해 성능을 최적화할 수 있습니다.

 

지속가능성 초점

기업들이 지속 가능성을 점점 더 우선시함에 따라 친환경 냉각수와 재료를 사용하는 액체 냉각 솔루션이 더욱 보편화될 것입니다. 업계에서는 폐기물과 환경에 미치는 영향을 최소화하기 위해 폐쇄 루프 시스템으로 전환하는 것을 볼 수 있습니다.

 

▲ 액체냉각 기술의 미래 동향

 

 

 

Ⅷ 결론

 

AI 서버의 공냉식 솔루션에서 액체 냉각 솔루션으로의 전환은 기술 발전과 효율적인 열 관리에 대한 수요 증가에 따른 업계의 중요한 발전을 의미합니다. NVIDIA가 AI 서버 시장을 주도하고 Google과 같은 대규모 클라우드 서비스 제공업체가 액체 냉각 옵션을 적극적으로 탐색하면서 환경이 빠르게 변화하고 있습니다.

 

액체 냉각의 이점과 과제, 그리고 액체 냉각 구현과 관련된 핵심 플레이어를 이해함으로써 조직은 AI 환경에서 향상된 성능, 지속 가능성 및 경쟁력을 위해 이 기술을 활용할 수 있는 위치를 더 잘 잡을 수 있습니다. 업계가 발전함에 따라 액체 냉각 솔루션은 데이터 센터의 미래를 형성하는 데 중요한 역할을 하여 차세대 AI 애플리케이션의 요구 사항을 충족할 수 있습니다.