데이터센터 산업의 액체 냉각에 관한 특별 보고서

 

--AI 물결 속에 특이점이 도래했고, 국내외 리더들의 폭발이 예상됩니다

 

칩 전력 소비 증가: 액체 냉각이 필수가 됨

 

1. 액체 냉각으로 고전력 구성 요소의 정상적인 작동 보장

전자 부품 고장의 절반 이상이 과도한 온도로 인해 발생하며, 온도가 고장의 55%를 차지합니다. '10-도 규칙'에 따르면 실온보다 온도가 10도 올라갈 때마다 고장률이 두 배로 늘어나고 수명이 단축됩니다. GPU 오류율이 증가하여 서버 수명에 영향을 미칩니다. 개별 칩의 전력 소비가 급격히 증가하여 발열량이 증가하고 있습니다. CPU와 같은 주류 프로세서 칩의 전력 정격은 약 200W이며 최신 CPU는 350W를 초과하고 GPU는 1000W를 초과합니다. 공기 냉각은 더 이상 열 밀도가 높은 전자 부품을 냉각하는 데 충분하지 않은 반면, 액체 냉각은 훨씬 더 높은 열 교환 효율을 제공합니다. 액체의 체적 열용량은 공기보다 1000-3500배 더 크고, 열전도율은 20-30배 더 높아 동일한 공간에서 액체 냉각의 냉각 성능이 훨씬 뛰어납니다.

 

액체 냉각은 구성 요소에서 발생하는 열을 효율적으로 흡수하여 열 발생 요소를 정밀하게 냉각하고 CPU 코어 온도를 65도 미만(공기 냉각보다 약 25도 낮음)으로 유지합니다. 또한 갑작스러운 고주파 작동 중에 심각한 온도 변동을 방지하여 시스템 안전성과 신뢰성을 보장합니다. 액체 냉각을 사용하면 칩을 오버클러킹할 수 있어 칩 성능이 약 10%-30% 향상됩니다.

 

▲ 전자부품 고장

 

2. 국내외 칩 냉각 기술이 점차 액체 냉각으로 전환되고 있다

액체 냉각은 칩 잠재력을 극대화할 수 있습니다. 예를 들어, 동일한 성능의 서버에서는 수냉식 버전이 공냉식 버전보다 약 10% 정도 성능이 더 좋습니다. GB200은 새롭고 효율적인 액체 냉각 캐비닛 아키텍처를 채택했으며 NVIDIA의 향후 제품은 공기 냉각에서 액체 냉각으로 완전히 전환될 수 있습니다. NVIDIA 외에도 Huawei Ascend와 같은 국내 칩에서도 액체 냉각 사용량이 크게 증가했습니다.

 

NVIDIA GB200 NVL72는 5세대 NVLink를 통해 연결된 72개의 Blackwell GPU와 36개의 Grace CPU를 포함하여 36개의 Grace Blackwell 슈퍼칩을 결합한 다중 노드 수냉식 랙 수준 확장 시스템입니다. GB200 NVL72에 사용된 액체 냉각 기술은 컴퓨팅 밀도를 향상하고 설치 공간을 줄일 뿐만 아니라 고대역폭, 저지연 GPU 통신을 통해 탄소 배출과 에너지 소비를 크게 줄입니다. 기존 공냉식 NVIDIA H100 인프라와 비교하여 GB200은 물 사용량을 줄이면서 동일한 전력 소비로 25배의 성능을 제공합니다. TrendForce에 따르면 초기 GB200 NVL36 아키텍처는 공랭식 및 액체 냉각 솔루션을 모두 갖추고 있을 수 있지만 냉각 요구 사항이 높기 때문에 NVL72는 액체 냉각을 우선시합니다. GB200 캐비닛 시스템의 액체 냉각 공급망은 냉각판, 냉각수 분배 장치(CDU), 매니폴드, 빠른 분리 장치(QD) 및 후면 도어 열 교환기(RDHx)의 5가지 주요 구성 요소로 나뉩니다. 핵심 시스템인 CDU는 시스템 전체의 냉각수 흐름을 조절하여 캐비닛 온도가 미리 설정된 TDP 범위 내에서 제어되도록 합니다. NVIDIA AI 솔루션의 경우 Vertiv가 주요 CDU 공급업체이고 Chicony, Auras, Delta 및 CoolIT는 테스트 및 검증 노력을 계속하고 있습니다.

 

▲ 액체 냉각

 

3. 제조업체는 수냉식 서버를 놓고 경쟁합니다. 출하량이 빠르게 증가

IDC에 따르면 중국의 수냉식 산업은 아직 초기 단계지만, 이미 외국 기업과의 기술 격차를 해소한 상태다. 실제로 중국의 관련 산업 체인은 대규모 상업 응용 분야에서 선두를 차지하고 있습니다. 2023년 중국의 수냉식 서버 시장은 14억 2천만 달러에 도달하여 전년 대비 48% 성장했으며 출하량은 161,000 단위로 57.3% 증가했습니다. IDC는 2023년부터 2028년까지 중국 수냉식 서버 시장의 연평균 복합 성장률(CAGR)이 45.8%에 달할 것으로 예측하고 있으며, 2028년에는 시장 규모가 102억 달러에 이를 것으로 예상됩니다.

주류 서버 제조업체들은 액체 냉각 시장에서 공격적으로 확장하고 있습니다. 시장 점유율 측면에서 Inspur, HyperFusion 및 NingChang은 2023년 상위 3개 공급업체로 선정되었으며, 전체적으로 시장의 70% 이상을 차지했습니다.

 

시장이 상대적으로 집중되어 있음에도 불구하고 빠른 성장과 다양한 산업 수요로 인해 주류 벤더 간의 시장 점유율 격차가 점차 줄어들고 있습니다. Inspur는 공기와 액체 냉각 간의 가격 동등성을 달성하는 것을 목표로 "All in Liquid Cooling" 전략을 계속 추구하고 있습니다. 수냉식 서버는 인터넷, 금융, 서비스, 제조 및 공공 유틸리티와 같은 산업 분야의 고객에게 서비스를 제공합니다. 이 회사는 선도적인 인터넷 기업과 금융, 교육, 연구 부문에 수냉식 서버를 대규모로 성공적으로 배포했으며, 최초의 팬 없는 완전 냉각판 서버로 새로운 글로벌 벤치마크를 확립했습니다.

 

▲ 수냉식 서버 제조사 시장점유율

 

IDC에 따르면 2023년에도 인터넷 산업은 계속되는 강력한 수요에 대한 기대와 함께 중국 수냉식 서버의 최대 구매자로 남아 시장의 46.3%를 차지했습니다. 또한 통신 사업자와 정부 관련 사용자 역시 수냉식 데이터 센터에 대한 수요가 급격히 증가하는 것을 경험하고 있습니다. 금융, 서비스, 제조, 공공 시설과 같은 다른 산업에서는 적절한 액체 냉각 솔루션을 적극적으로 모색하고 있습니다.

 

 

II 액체 냉각으로 온도 제어의 가치 향상, 업계 전환점이 예상됨

 

1. 서버 전력 및 탄소 중립 목표 증가로 인해 액체 냉각 보급률 증가

데이터 센터는 주요 전력 소비자로, 국가 전력 사용량의 약 2%-3%를 차지합니다. 데이터 센터의 에너지 소비에 대한 정책은 점점 더 엄격해지고 있습니다. 2021년 중국의 데이터센터 전력 소비량은 2,166억kWh에 달해 국가 총 전력 소비량의 2.6%를 차지했고, 탄소 배출량은 1억3500만톤, 국가 총 배출량의 1.14%에 달했다. 이중 탄소 목표를 통해 데이터 센터는 전례 없는 에너지 소비 및 냉각 문제에 직면해 있습니다. 건설 후 전기 비용은 기존 공냉식 데이터 센터의 총 운영 및 유지 관리 비용의 60%-70%를 차지합니다.

 

PUE(Power Usage Effectiveness)는 데이터센터의 에너지 효율성을 평가하는 데 사용되는 지표로, IT 장비가 소비하는 에너지 대비 데이터센터에서 소비하는 총 에너지의 비율을 말합니다. 2013년 이전에는 중국 대형 데이터 센터의 평균 PUE가 1.7을 초과했지만 2019년 말에는 이 수치가 1.46으로 떨어졌습니다. "신규 데이터 센터 개발을 위한 3개년 실행 계획(2021-2023)"은 2023년 말까지 신규 대규모 데이터 센터의 PUE를 1.3 미만으로 낮추는 것을 목표로 하며, 혹한 및 극심 환경에서는 1.25 미만을 목표로 합니다. 추운 지역. "동부 데이터, 서부 컴퓨팅" 정책은 내몽골, 간쑤, 닝샤 및 구이저우의 노드가 PUE를 1.2 미만으로 낮추도록 규정하고 있습니다.

 

데이터 센터의 에어컨 시스템의 에너지 소비는 PUE를 합리적인 수준으로 줄이는 데 중요합니다. 추정에 따르면 공조 시스템의 에너지 소비가 전체의 38%, 26%, 17.5%를 차지할 때 해당 PUE 값은 각각 1.92, 1.5, 1.3입니다.

 

지능형 컴퓨팅 서버의 전력 밀도가 크게 증가하여 공기 냉각 시스템이 지원할 수 없는 수준에 도달했습니다. 이전에는 공기 냉각 시스템이 냉각원을 열원에 더 가깝게 배치하거나 냉기 및 열기 통로를 차단하여 더 높은 열 밀도에 맞춰 조정되었으며, 이는 12kW 미만의 냉각이 필요한 캐비닛에 적합했습니다. 그러나 랙 밀도가 20kW를 초과하면 이러한 방법의 효율성이 떨어집니다. Vertiv는 초고밀도 랙(30kW 이상)을 갖춘 시설을 배치하면 액체 냉각을 사용할 수밖에 없다고 믿습니다. 시스템이 어떻게 구성되거나 최적화되더라도 공냉식은 IT 시스템의 신뢰성을 유지하는 데 필요한 냉각 용량을 제공할 수 없습니다.

 

따라서 데이터 센터 PUE를 줄이고 고전력 캐비닛의 냉각 요구 사항을 충족하기 위해 냉각 기술이 다음과 같이 발전했습니다.

 

• 1단계(1998-2004):압축기, 증발기, 팽창 밸브 및 응축기를 포함하여 주로 프레온인 냉매를 사용하는 직접 팽창 공냉식 시스템에 사용됩니다.
• 2단계(2005-2009):냉각기, 냉각탑, 워터 펌프 및 냉각수 터미널 장치를 포함하여 주로 사용되는 수냉식 시스템입니다.
• 3단계(2010-2023):건조한 공기를 이용해 시원한 공기나 물을 생산하는 증발냉각 기술을 채택했다. 이 기술은 필요에 따라 냉각 공기나 물을 제공할 수 있습니다. 기존 압축기가 필요하지 않기 때문에 에너지 소비가 적고 연중 냉방이 필요한 데이터 센터에 사용됩니다. 자연 냉각원을 활용하는 가장 효과적인 솔루션인 간접 증발 냉각은 기존 냉수 시스템에 비해 냉각 에너지 소비를 30% 줄일 수 있습니다.
• 4단계(2024-현재):액체 냉각 기술은 주요 장비의 열 방출 방식을 근본적으로 개선합니다. 이는 고밀도 랙 및 칩의 정밀한 냉각 요구 사항을 더 잘 충족하고 에너지 소비량 감소, 열 방출 증가, 소음 감소, 총 소유 비용(TCO) 감소와 같은 이점을 제공합니다. 액체 냉각은 액체를 냉각 매체로 사용하여 서버의 열 발생 구성 요소와 열을 교환하고 열을 방출하여 서버가 안전한 온도 범위 내에서 작동하도록 하는 것을 의미합니다. 향상된 컴퓨팅 성능, 에너지 효율성 및 배포 밀도가 필요한 시나리오에 적합합니다.

 

2. 냉각판 액체 냉각은 고도로 성숙하고 널리 사용됩니다.

냉각 매체가 서버에 접촉하는 방식에 따라 액체 냉각은 간접 냉각과 직접 냉각으로 분류될 수 있습니다. 간접 냉각은 주로 냉각판 액체 냉각을 포함하며, 이는 냉각 매체의 상 변화 여부에 따라 단상 냉각판 냉각과 2상 냉각판 냉각으로 더 구분됩니다. 직접 냉각에는 액체가 칩이나 랙에 직접 접촉하는 침지 냉각과 분무 냉각이 있으며, 냉각 매체의 상변화 여부에 따라 단상 냉각과 2상 침지 냉각으로 구분됩니다.

 

냉각판 액체 냉각은 현재 데이터 센터 산업에서 가장 널리 사용되고 있으며, 액체 냉각 산업의 주요 응용 분야는 고밀도 컴퓨팅 시나리오입니다. 콜드 플레이트 액체 냉각은 열 교환을 위해 칩에 콜드 플레이트를 직접 설치하고 펌프 구동 액체가 순환하여 열 교환기를 통해 열을 제거하는 것을 말합니다. 냉각판 액체 냉각의 작동 원리에는 열원 위에 마이크로채널 방열판을 내장하고 이러한 마이크로채널을 통해 흐르는 액체를 통해 열을 소산한 다음 열 교환기로 전달하여 열을 환경으로 추가로 소산시키는 작업이 포함됩니다.

 

성숙한 기술, 비용 및 운영 안정성의 이점을 갖춘 냉각판 액체 냉각은 현재 데이터 센터의 고성능 컴퓨팅 및 AI 컴퓨팅을 위한 주류 솔루션입니다. 냉각판 액체 냉각은 일반적으로 PUE가 1.2 이하이며 경우에 따라 1.05에 도달하기도 합니다. 침지 냉각과 같은 직접 액체 냉각 기술은 일반적으로 더 나은 성능을 제공하지만 높은 기술적 위험과 비용으로 인해 덜 널리 사용됩니다. 냉각판 액체 냉각은 간단한 설치, 저렴한 비용, 확장성, 쉬운 유지 관리, 짧은 구축 시간 등 다른 액체 냉각 기술에 비해 여러 가지 장점이 있습니다. 예를 들어, Meixin은 냉각판 액체 냉각이 컴퓨팅 전력 에너지 소비를 최대 30%까지 줄일 수 있다고 제안합니다.

 

실제로 전 세계 데이터 센터 액체 냉각 시스템의 75%가 냉각판 액체 냉각 기술을 사용하고 있으며 냉각판 액체 냉각도 중국 AI 컴퓨팅 센터의 주류 솔루션이 되었습니다. 냉판액냉각은 높은 성장세를 이어갈 것으로 예상된다. 중국 수냉식 서버의 복합 성장률은 향후 5년 동안 50%를 초과할 것이며 냉각판 액체 냉각 시스템이 시장을 지배하게 될 것입니다.

 

3. 액체 냉각이 더 효과적이며 운영자가 널리 홍보하고 있습니다.

현재 AI 컴퓨팅을 위한 데이터 센터 건설로 인해 캐비닛 열 밀도가 급격히 증가하면서 수냉식 솔루션에 대한 수요가 높아졌습니다. 수냉식 서버의 시장 점유율은 지속적으로 증가하는 반면, 기존 공랭식 서버의 비율은 급격히 감소하고 있습니다.

 

▲ 공기냉각 대비 액체냉각의 연간 매출액

 

2022년에는 중국정보통신기술원(China Academy of Information and Communications Technology)이 주도하는 5가지 액체 냉각 산업 표준이 공식적으로 시행되었습니다. 3대 통신 사업자는 2024년에 새로운 데이터 센터 프로젝트의 10%에 액체 냉각 기술을 시험할 계획이며, 2025년까지 데이터 센터 프로젝트의 50% 이상이 액체 냉각 기술을 적용할 계획입니다. China Telecom은 이미 지능형 컴퓨팅 센터 클러스터를 계획하고 구축했습니다. 수조 개의 매개변수로 대규모 모델 훈련을 지원할 수 있는 상하이. 국내 컴퓨팅 기능으로 구동되는 클러스터는 단일 풀에 10개의000 카드를 갖게 되며, 이는 10개의 단일 풀을 지원하는 국내 최초의 대규모 수냉식 컴퓨팅 클러스터가 됩니다.{{11} } 카드.

 

운영자의 액체 냉각 촉진 속도는 시장 기대치를 초과하고 있으며, 이는 비용 최적화 및 표준 개선을 촉진할 것입니다. 데이터 센터 캐비닛의 경쟁력을 강화하고 온도 제어 시 전력 소비를 줄이기 위해 타사 데이터 센터 공급업체는 액체 냉각 적용을 가속화하여 중국 내 액체 냉각 데이터 센터의 지역적 분포를 더욱 확대할 수 있습니다. 액체 냉각 데이터 센터 기술이 발전하고 배포 비용이 감소함에 따라 더 많은 IDC(인터넷 데이터 센터) 서비스 제공업체가 액체 냉각 채택을 모색하고 있습니다. 동부에서는 이미 액체 냉각 데이터 센터를 적용한 사용자들이 더 엄격한 에너지 소비 요구 사항을 충족하기 위해 액체 냉각 솔루션에 대한 수요가 증가하고 있으며, 이에 따라 중부 및 서부 지역의 액체 냉각 데이터 센터 개발이 더욱 확대되고 있습니다.

 

4. 액체냉각시장의 고속성장

액체 냉각 산업 체인에는 제품 구성 요소의 업스트림 공급업체, 미드스트림 액체 냉각 서버 및 인프라 제공업체, 다운스트림 컴퓨팅 파워 사용자가 포함됩니다. 업스트림에는 주로 냉각판, CDU(냉각수 분배 장치), 신속 분리 장치, 솔레노이드 밸브, 침수형 액체 냉각 탱크, 매니폴드 및 냉각수 제품과 같은 제품 구성 요소 및 액체 냉각 장비 공급업체가 포함됩니다. 미드스트림에는 액체 냉각 서버 제조업체, 칩 제조업체는 물론 액체 냉각 통합 시설, 모듈 및 캐비닛이 포함됩니다. 다운스트림에는 통신 사업자, 인터넷 회사, 통신, 인터넷, 정부, 금융, 운송, 에너지 등 산업 분야의 고객이 포함됩니다.

 

산업 체인의 업스트림 부분에서 냉각판 액체 냉각 시스템의 열 교환은 1차 열 교환 시스템과 2차 열 교환 시스템의 두 부분으로 나뉩니다. 2차 시스템은 직/간접적인 열교환을 통해 서버 등 열원으로부터 열을 얻어 1차 시스템으로 전달합니다. 1차 열 교환 시스템은 실외 냉각 장비를 사용하여 열을 외부로 방출하여 전체 냉각 프로세스를 완료합니다. 두 시스템은 CDU(냉각수 분배 장치)를 통해 열을 교환합니다.

 

특정 구성 요소 고장: 빠른 분리는 플러그와 소켓 모두에 유체 차단 기능이 있는 플러그 앤 소켓 구성 요소로, 액체 냉각 시스템의 빠른 플러그 앤 플레이 유지 관리를 가능하게 합니다. 플러그와 소켓이 연결되면 유체가 흘러 냉각판에 액체를 공급합니다. 연결이 끊어지면 유체가 멈추고 시스템 외부로 누출되는 것을 방지합니다. 매니폴드는 일반적으로 캐비닛 내에 설치되는 액체 냉각 서버의 냉각판에 CDU를 연결하는 장치입니다. 그 기능은 냉각수를 각 냉각판에 고르게 분배하고 가열된 냉각수를 수집하여 연결된 파이프라인을 통해 CDU로 다시 보내는 것입니다.

 

CDU(냉각수 분배 장치)는 2차 시스템의 고온 냉각수와 1차 냉각원 사이에서 열을 교환하는 데 사용되는 모듈입니다. 냉각수 분배를 제공하고 수냉식 IT 장비의 온도, 압력 및 흐름 모니터링을 관리합니다. CDU는 주로 열교환기/응축기, 순환펌프, 필터, 냉각수 저장탱크, 부속품(밸브, 파이프라인, 커넥터, 센서 등)으로 구성되며 열교환, 순환, 냉각수 정화, 저장 등의 기능을 가지고 있습니다.

 

2020년에서 2022년 사이에 액체 냉각 기술이 급속히 발전했으며 애플리케이션 모델 검증이 상당한 성공을 거두어 단위당 전력 냉각 비용이 절감되었습니다. CCID 컨설팅 데이터에 따르면 냉각판 접근 방식은 90% 이상의 시장 점유율을 유지했으며, 침지 및 분무 냉각을 합하면 약 10%를 차지했습니다. 세 가지 방법을 가중 평균한 결과, 수냉식 데이터 센터의 1kW 냉각 비용은 2022년에 약 6,500RMB였으며, 2023년에는 1kW당 5{11}}RMB로 감소할 것으로 예상됩니다.

 

최근 Supermicro의 CEO인 Charles Liang은 향후 12개월 이내에 새로운 글로벌 데이터 센터 배치의 15%가 직접 액체 냉각 기술을 사용할 것이며 이 비율은 다음 해에 30%에 도달할 것이라고 예측했습니다. 지난 30년 동안 또 다른 주요 하키스틱 성장 곡선을 만들어냈습니다. 기존의 공기 냉각에 비해 직접 액체 냉각이 더 경제적이고 환경 친화적입니다. 중국 내 새로운 데이터 센터의 액체 냉각 보급률이 2026년까지 22%에 도달한다고 가정하면 액체 냉각 시장 규모는 111억 위안이 될 것입니다.