액체 냉각 기술: AIGC 시대의 데이터 센터 냉각 과제 해결

 

AIGC(인공지능 생성 콘텐츠)의 급속한 발전으로 컴퓨팅 파워에 대한 수요가 폭발적으로 증가하여 데이터 센터의 전력 소비와 열 관리 요구 사항이 급격히 증가했습니다. AI 모델 학습 및 추론 중에 필요한 컴퓨팅 리소스가 높으면 서버 열 발생이 크게 증가하여 냉각 기술의 기준이 높아집니다. Colocation America의 보고서에 따르면 2020년까지 전 세계 데이터 센터의 캐비닛당 평균 전력은 2008년 대비 175% 증가한 16.5kW로 증가했습니다. 그 결과 액체 냉각 기술이 데이터 센터 냉각 솔루션의 새로운 초점이 되었습니다.

 

올해의 GTC 컨퍼런스에서 NVIDIA는 B200 및 GB200 칩을 선보였을 뿐만 아니라 수반되는 액체 냉각 기술도 강조했습니다. 또한 2024 SIEPR Economic Summit에서 NVIDIA CEO Jensen Huang은 차세대 DGX GPU 서버가 액체 냉각을 완전히 채택할 것이라고 밝혔습니다. NVIDIA의 결정은 업계의 추세를 설정하여 액체 냉각 기술 개발에 새로운 추진력을 불어넣었습니다. AI 기술이 계속 발전함에 따라 액체 냉각의 중요성이 점점 더 분명해지고 있습니다. 액체 냉각 기술은 데이터 센터의 에너지 소비를 크게 줄일 뿐만 아니라 서버 운영 효율성을 높이고 장비 수명을 연장합니다. 따라서 액체 냉각은 점차 데이터 센터 냉각 솔루션의 우선 고려 사항이 되고 있습니다.

 

 

I 데이터 센터 냉각 방법 비교

 

현재 데이터 센터 냉각 시스템은 주로 공랭과 액랭의 두 가지 유형으로 나뉩니다. 액랭 기술은 공기를 액체 매체로 대체하여 서버의 발열 구성 요소와 열을 교환하여 열을 제거하고 서버가 최적의 온도 범위 내에서 안정적으로 작동하도록 합니다. 반면 공랭은 팬과 에어컨 시스템을 사용하여 공기의 이동을 통해 열을 발산합니다. 액랭은 발열 구성 요소를 직접 냉각하여 공기보다 열 전도 효율이 25배 높고 비열 용량이 1,000~3,500배 높으며 대류 열 전달 효율이 공기보다 10~40배 높습니다. 따라서 동일한 조건에서 액랭 기술은 냉각 효율 면에서 공랭을 훨씬 능가합니다.

 

▲ 데이터센터 냉각시스템

 

▲ 액체 냉각 기술 & 공기 냉각

 

공기 냉각에 비해 액체 냉각은 더 높은 냉각 효율과 더 낮은 에너지 소비를 제공합니다. 고밀도 컴퓨팅 환경에서 공기 냉각 시스템은 종종 냉각 수요를 충족하는 데 어려움을 겪는 반면, 액체 냉각은 이러한 과제를 효과적으로 해결할 수 있습니다. 또한 액체 냉각은 낮은 소음과 더 작은 풋프린트와 같은 이점을 제공하여 현대 데이터 센터의 고밀도 구성과 친환경 에너지 절약 요구 사항에 적합합니다.

 

 

II AI 시대에 액체 냉각 기술의 발전을 촉진하는 요소는 무엇인가?

 

1. 컴퓨팅 칩의 열 전력 증가: 공기 냉각이 한계에 도달

AI 기술의 급속한 발전으로 컴퓨팅 파워에 대한 수요가 계속 증가하면서 칩의 열 발생과 열 플럭스 밀도가 증가합니다. 칩이 장시간 고온에서 작동하면 성능과 수명이 부정적으로 영향을 받고 고장률이 증가합니다. 연구에 따르면 칩의 작동 온도가 70-80도에 가까워지면 10도 상승할 때마다 성능이 약 50% 감소할 수 있습니다.

 

현재 Intel의 CPU는 최대 350W의 열 설계 전력(TDP)을 가지고 있고, NVIDIA의 H100은 700W에 도달하며, 미래의 B100은 1,000W에 도달할 수 있으며, 이는 공기 냉각의 800W 단일 지점 냉각 한계에 근접합니다. 컴퓨팅 칩 전력 소비가 계속 증가하고 CPU 및 GPU 전력 소비가 전체 AI 서버 전력의 약 80%를 차지함에 따라 공기 냉각을 계속 사용하면 행 내 공조 요구 사항이 크게 증가하게 됩니다. 고밀도 냉각 시나리오에서 액체 냉각은 상당한 비용 및 성능 이점을 제공합니다.

 

칩 측면 외에도 데이터 센터의 캐비닛당 전력 밀도도 증가하고 있습니다. 기존의 공랭식 냉각은 일반적으로 12KW~15KW 범위의 캐비닛 냉각 요구 사항을 충족합니다.2022 글로벌 데이터 센터 설문 조사 보고서Uptime Institute에 따르면 단일 NVIDIA DGX A100 서버의 최대 전력은 6.5KW이고, 표준 42U 하이 캐비닛은 약 5개의 5U 하이 AI 서버를 수용할 수 있으며, 캐비닛당 총 전력은 20KW를 초과합니다. 기존의 공랭식 냉각은 AI 서버 캐비닛의 냉각 요구 사항을 충족할 수 없습니다.

 

2. 데이터 센터 에너지 절약 요구 사항에 따른 더 높은 PUE 요구 사항

PUE(전력 사용 효율성)는 데이터 센터 에너지 효율성을 평가하는 주요 지표로, 다음과 같이 계산됩니다. PUE=총 데이터 센터 에너지 소비량/IT 장비 에너지 소비량. PUE 값이 1에 가까울수록 데이터 센터의 에너지 효율성이 높습니다. 반대로 PUE 값이 높을수록 전체 효율성이 낮습니다.

 

통계에 따르면 데이터 센터의 전력 소비량은 여러 부분으로 나뉩니다. IT 장비가 45%, 냉각 시스템이 43%, 전력 공급 및 분배 시스템이 10%, 조명 및 기타 용도가 2%입니다. 이 중 공조 시스템 에너지 소비량은 IT 장비에 이어 두 번째로 많으므로 IT 시스템을 업그레이드할 수 없는 경우 공조 시스템 에너지 소비량을 줄이는 것이 특히 중요해집니다.

 

"탄소 피크"와 "탄소 중립" 달성이라는 국가 목표와 "동부 데이터, 서부 계산" 전략의 맥락에서 새롭게 발표된그린데이터센터 정부조달수요기준(시범)더욱 엄격한 PUE 요구 사항을 부과합니다.이 표준은 2023년 6월부터 데이터 센터 PUE가 1.4를 초과해서는 안 되며, 2025년까지는 PUE가 1.3 이하가 되어야 한다고 규정합니다. CDCC와 Inspur Information의 데이터에 따르면, 공랭을 사용하는 데이터 센터는 일반적으로 PUE가 1.4~1.5인 반면, 액체 냉각 기술은 PUE를 1.2 이하로 낮출 수 있습니다. 따라서 에너지 효율적이고 효과적인 액체 냉각 기술을 채택하는 것이 추세가 되었습니다.

 

데이터 센터의 에너지 소비는 오랫동안 업계의 주목을 받아 왔으며, 특히 글로벌 에너지 자원 제약과 높아진 환경 의식을 배경으로 합니다. 데이터 센터 에너지 효율성을 개선하는 것이 특히 중요합니다. 액체 냉각 기술은 보다 효율적인 냉각 솔루션을 제공하여 에어컨 시스템 에너지 소비를 줄여 데이터 센터 PUE 값을 크게 낮춥니다. 이 기술은 운영 비용을 줄이는 데 도움이 될 뿐만 아니라 탄소 배출량을 줄여 지속 가능한 개발 목표에 부합합니다.

 

 

▲ 데이터센터 에너지 소비량

 

 

III 액체 냉각 기술의 분류

 

액체 냉각 시스템은 액체가 하드웨어와 상호작용하는 방식에 따라 직접 액체 냉각과 간접 액체 냉각으로 분류할 수 있습니다. 직접 액체 냉각은 액체가 하드웨어 구성 요소와 직접 접촉하여 열을 전달하는 것을 포함합니다. 이 방법은 침지 냉각과 분무 냉각으로 더 나눌 수 있습니다. 침지 냉각은 하드웨어 구성 요소를 액체에 완전히 담그는 반면 분무 냉각은 액체를 하드웨어에 직접 분무하는 것을 포함합니다.

 

반면 간접 액체 냉각은 중간 구성 요소(예: 열 교환기 또는 냉각판)를 사용하여 열을 전도하여 액체가 하드웨어에 직접 접촉하는 것을 방지합니다. 일반적인 간접 액체 냉각 시스템은 냉각판 액체 냉각 시스템으로, 냉각 매체가 상 변화를 겪는지 여부에 따라 단상 및 2상 냉각판 냉각으로 더 나눌 수 있습니다.

 

▲ 액체 냉각 방식 소개

 

1. 냉각판에서 침지 냉각판까지

액체 냉각 기술은 열을 발생시키는 구성 요소에서 냉각판을 통해 냉각 액체로 열을 전달하고, 냉각 액체는 냉각 특성을 통해 열을 소산합니다. 이 시스템에서는 작동 액체가 전자 구성 요소에 직접 접촉하지 않아 컴퓨터 시스템에 최소한의 수정만 필요합니다. 원래의 공랭식 방열판을 액체 냉각 키트로 간단히 교체할 수 있으며, 냉각수 파이프를 섀시 외부로 라우팅할 수 있습니다. 이 기술은 중간에서 높은 열 플럭스 밀도의 냉각 요구 사항에 특히 적합합니다.

 

냉각판 액체 냉각 시스템은 주로 냉각탑, 냉각수 분배 장치(CDU), 1차 및 2차 액체 냉각 회로, 냉각 매체, 액체 냉각 캐비닛으로 구성됩니다. 1차 회로는 2차 회로에서 외부 환경 또는 기타 열 회수 장치로 열을 방출하는 루프를 말하며, 2차 회로는 서버에서 열을 제거하여 1차 회로를 통해 소산시키는 루프를 말합니다. 두 회로는 CDU 또는 냉각수 분배 장치를 통해 열을 교환합니다.

 

냉각판 액체 냉각 시스템의 작동 원리는 비교적 간단하지만 실제 적용에서는 냉각판 설계, 냉각 액체 선택 및 시스템 유지 관리를 고려해야 합니다. 또한 냉각판 액체 냉각 시스템은 높은 열 플럭스 밀도 환경에서 매우 우수한 성능을 발휘하여 현대 데이터 센터의 고밀도 레이아웃 요구 사항에 매우 적합합니다.

 

▲ 냉각판 액체 냉각 시스템의 개략도

 

침지 액체 냉각 시스템은 열 생성 구성 요소를 비전도성 냉각 액체에 직접 담가 효율적인 열 발산을 달성합니다. 냉각 액체가 순환 중에 상 변화를 겪는지 여부에 따라 침지 액체 냉각은 단상 침지 냉각과 2상 침지 냉각으로 나눌 수 있습니다.

 

단상 침지 냉각에서 냉각 액체는 상 변화 없이 열 교환 과정 동안 온도 변화만 겪습니다. 열 전달은 액체의 현열 변화에 전적으로 의존하며, 액체가 가열되면 팽창하고 밀도가 감소하는 특성을 활용합니다. 더 따뜻한 냉각 액체는 자연스럽게 상승하고 외부 냉각 루프의 열 교환기에 의해 냉각됩니다. 그런 다음 냉각된 액체는 중력에 의해 가라앉아 냉각 주기를 완료합니다. 이 방법에서 냉각 액체는 전체 프로세스 동안 액체 상태를 유지합니다. 반면, 2상 침지 냉각은 냉각 액체가 열 발산 중에 액체에서 기체로 상 변화를 겪고 기체에서 액체로 돌아오는 것을 포함합니다.

 

침지 액체 냉각 시스템은 실내 및 실외 구성 요소를 모두 포함합니다. 실외 측에는 냉각탑, 1차 파이프라인 네트워크 및 1차 냉각 액체가 포함되고 실내 측에는 냉각수 분배 장치(CDU), 침지 탱크(캐비닛), IT 장비, 2차 파이프라인 네트워크 및 2차 냉각 액체가 포함됩니다. 사용 중에 IT 장비는 냉각 액체에 완전히 잠기므로 냉각 액체를 선택할 때는 실리콘 오일이나 불소화 액체와 같은 비전도성 유체를 고려해야 합니다.

 

▲ 단상 액체냉각의 개략도

 

스프레이 냉각이 존재하지만, 그 적용은 비교적 제한적이며 고밀도 서버와 대규모 데이터 센터에 적합하지 않습니다. 단기적으로 콜드 플레이트 액체 냉각은 성숙성, 기존 시스템과의 호환성, 유지 관리 용이성 및 낮은 개조 비용으로 인해 AI 시대의 냉각 요구 사항과 공기 냉각에서 액체 냉각으로의 데이터 센터 전환에 매우 적합합니다. 장기적으로 우수한 열 전도성, 효율적인 폐열 회수 기능 및 더 높은 캐비닛 전력 지원 기능을 갖춘 침지 액체 냉각은 미래 데이터 센터의 진화하는 냉각 요구 사항에 더 적합할 것입니다. 특히 캐비닛 장치 전력이 계속 증가함에 따라 침지 액체 냉각은 보다 효율적인 냉각 솔루션을 제공하여 데이터 센터의 전체 전력 사용 효율성(PUE)을 줄이는 데 도움이 될 수 있습니다.

 

2. 지능형 컴퓨팅 센터를 위한 선호 선택 – 액체 냉각

전력 밀도가 증가함에 따라, 액체 냉각 솔루션은 더 많은 새로 건설된 GPU 컴퓨팅 센터에 대한 선택이 되고 있습니다. IDC의 "중국 반기 액체 냉각 서버 시장(H1 2023) 추적" 보고서에 따르면, 중국 액체 냉각 서버 시장은 2023년에 15억 1천만 달러에 도달했습니다. IDC는 2022년부터 2027년까지 중국 액체 냉각 서버 시장의 연평균 성장률이 54.7%에 도달할 것으로 예측하고 있으며, 2027년까지 시장 규모는 89억 달러에 도달할 것으로 예상합니다.

 

지능형 컴퓨팅 센터에서 액체 냉각 기술을 적용하면 컴퓨팅 성능이 향상될 뿐만 아니라 에너지 소비와 운영 비용도 크게 절감됩니다. 액체 냉각 기술의 홍보는 데이터 센터를 보다 효율적이고 친환경적이며 지능적인 개발로 이끌고 AI 시대의 데이터 처리 요구 사항을 충족할 수 있는 견고한 기반을 제공합니다.

 

▲ 액체 냉각 서버 시장 규모

 

IV 액체 냉각 산업 체인

 

액체 냉각 산업 체인은 상류 제품 구성 요소 공급업체, 중류 액체 냉각 서버 제조업체, 하류 컴퓨팅 파워 사용자라는 세 가지 주요 세그먼트를 포함합니다. 현재 하류 사용자 중 Alibaba와 같은 국내 기업은 단상 침지 액체 냉각 개발에 주력하고 있는 반면 Baidu, Tencent, JD.com과 같은 다른 기업은 주로 콜드 플레이트 액체 냉각을 사용합니다. 해외에서는 침지 냉각이 콜드 플레이트 냉각보다 더 발전되어 있으며 Intel, Google, Meta와 같은 선도적인 미국 기업이 특히 AI 지원을 통해 침지 액체 냉각의 빠른 개발을 주도하고 있습니다.

 

▲ 액체 냉각 산업 체인

 

 

V 침지 액체 냉각 기술의 잠재적 문제

 

1. 냉각수 선택

냉각수는 액체 냉각 기술의 핵심 원료 중 하나이며 높은 기술적 장벽을 제시합니다. 침지 액체 냉각 기술에서 냉각수는 전자 제품과 직접 접촉해야 하므로 우수한 열 전도성, 우수한 절연성 및 재료 호환성과 같은 냉각수 성능에 대한 높은 요구 사항이 부과됩니다. 또한 냄새, 독성 및 분해 용이성과 같은 환경적 특성도 중요하며 냉각수는 가능한 한 사용자 친화적이고 환경 친화적이어야 합니다.

 

현재 가장 일반적으로 사용되는 침지 냉각수에는 탄화수소와 유기규소(일반적으로 "오일"이라고 함, 예: 미네랄 오일) 및 불소화 화합물(예: 불소화 액체)이 포함됩니다. 불소화 액체는 전반적인 성능이 우수하고 이상적인 액체 냉각 재료로 간주됩니다. 그러나 불소화 액체의 주요 과제는 비용이 많이 든다는 것입니다. 점점 더 엄격해지는 환경 보호 요구 사항으로 인해 열전도도가 높고 밀도가 낮은 실리콘 오일도 환경 친화적입니다. 냉각 매체의 선택은 주로 냉각 프로세스에 따라 달라집니다.

 

2. 광학 경로 밀봉 문제

불소화 액체나 실리콘 오일과 같은 냉각수는 우수한 절연 특성을 가지고 있어 회로 단락을 효과적으로 방지합니다. 저주파 신호 조건에서 이러한 냉각수는 신호 전송에 최소한의 간섭을 미칩니다. 그러나 고주파 신호에서 냉각수가 신호 전송에 미치는 영향은 신중하게 평가하고 제어해야 합니다. 전반적으로 회로에 미치는 영향은 관리할 수 있습니다.

 

광학 경로와 관련하여 데이터 센터의 대부분 광학 모듈은 비밀폐형 패키징으로 설계되어 적절한 수정 없이 냉각수가 광 공동으로 들어가 광학 성능에 영향을 미칠 수 있습니다. 밀폐형 패키징을 사용하더라도 렌즈와 같은 일부 수동 광학 경로는 밀폐형 챔버 외부에 남아 있습니다.

 

광학 경로의 설계는 일반적으로 공기의 굴절률(약 1.0)을 기반으로 합니다. 광학 구성 요소가 냉각수에 담그면 공기와 다른 냉각수의 굴절률이 초점과 결합 효율의 변화를 일으킬 수 있습니다. 예를 들어, 불소화 오일의 굴절률은 일반적으로 약 1.3이며, 굴절률의 이러한 변화는 광학 경로 설계 매개변수를 조정해야 할 수 있습니다.

 

침지 액체 냉각이 광학 및 전기 경로에 미칠 수 있는 잠재적 영향을 해결하기 위해 업계에서는 냉각 환경에 적합한 새로운 광 모듈 패키징 기술을 개발하고, 고주파 신호를 위한 회로 설계를 최적화하고, 침지 냉각에 더 적합한 광학 소재와 구조를 연구하는 등 다양한 조치를 취하고 있습니다.

 

3. 통합 배송 vs. 분리 배송

현재 콜드플레이트 액체 냉각 서버에는 세 가지 배송 모델이 있습니다.

① IT장비 측은 액체 냉각 서버만 제공합니다.

② IT 측은 "액랭 서버 + 액랭 캐비닛"을 제공합니다.

③ IT 측은 "수냉식 서버 + 수냉식 캐비닛 + CDU + 2차 회로"를 제공합니다.

 

세 번째 제공 모델인 통합 제공은 전체 캐비닛이 통합 설계 및 개발에 대한 자체 정의 표준과 함께 동일한 제조업체에서 제공되는데, 가장 널리 사용됩니다. 분리된 제공은 액체 냉각 캐비닛과 액체 냉각 서버 간의 사용자 정의 인터페이스 설계 사양을 따르며, 캐비닛과 서버는 서로 다른 제조업체에서 제공합니다. 인프라 및 서버 제조업체는 조정하고 협력해야 합니다. 분리된 제공은 확장하고 유연하게 배포하기가 더 쉽습니다.

 

▲ 콜드플레이트 액체냉각 서버 공급방식 차별화

 

현재 중국 내 액체 냉각 기술의 표준화 수준은 비교적 낮습니다. 서버 장비, 냉각수, 냉장 파이프라인, 전원 공급 제품마다 형태가 다르고, 통일된 인터페이스 표준이 없어 표준화와 대규모 적용에 어려움이 있습니다. 국내 3대 통신사가 발표한 백서에서는 액체 냉각 기술에 대한 3년 비전을 설명하고, 점진적으로 기술을 검증하고 테스트하며, 2025년까지 액체 냉각의 대규모 적용을 시작할 계획입니다. 데이터 프로젝트의 50% 이상이 이 기술을 채택하여 액체 냉각의 표준화와 대규모 구현을 촉진하고 분리된 전달을 지원할 것으로 예상됩니다.