데이터 센터를 위한 효율적인 액체 냉각 시스템 설계

 

I 데이터 센터 냉각 시스템의 구성 요소

 

IT 장비에서 소비되는 전기 에너지의 대부분은 폐열로 전환됩니다. IT 장비가 적절한 온도 범위 내에서 작동하도록 하기 위해 데이터 센터에는 냉각기, 냉각탑, 정밀 에어컨 장치를 포함한 냉각 및 방열 시스템이 장착되어 데이터 센터에서 폐열을 제거합니다. 열 전달 프로세스는 그림 1에 나와 있습니다. 주요 에너지 소비 지점에는 냉각기, 냉각탑, 펌프, 정밀 에어컨 장치가 있습니다.

 

▲ 그림 1: 데이터 센터의 열 전달

 

현재 데이터 센터에서 주요 열 전달 매체는 공기 또는 물입니다. 1.004 kJ/(KgK)의 일정한 압력 비열 용량과 4200 kJ/(KgK)의 비열 용량을 가진 물은 공기보다 약 1,000배 더 큰 열 전달 용량을 갖습니다. 따라서 냉각 매체로 물을 사용하는 것은 냉각 시스템 설계에서 효과적인 에너지 절약 방법입니다. 냉각 시스템의 에너지 효율을 개선하기 위해 고효율 라디에이터 및 정밀 공기 공급과 같은 조치를 사용하여 열을 포착하고 전달합니다.

 

정밀 에어컨에서 냉각은 룸 레벨에서 모듈식 데이터 룸과 랙 레벨 냉각으로 진화하여 열원에 더 가까이 다가가 냉각수 수송 시 에너지 소비를 줄였습니다. 냉각원의 생성은 공기 냉각에서 수냉 및 자연 냉각으로 진행되어 외부 열 전달 효율이 향상되었습니다.

 

 

기존 냉각 시스템은 정밀 에어컨, 냉각기, 냉각탑을 위한 독립적인 제어 시스템과 운영 전략을 특징으로 하며, 지역적으로 효율성을 최적화합니다. 그러나 전반적인 냉각 효율성은 여전히 ​​개선이 필요합니다.

 

열 수집, 냉각원 준비, 외부 열 전달을 종단 간 관리하고 정밀하게 제어함으로써 체계적인 개선을 달성할 수 있으며, 이를 통해 냉각 시스템의 전력 소비를 줄일 수 있습니다.

 

 

II 엔드투엔드 액체 냉각 시스템 설계

 

1. 보드 레벨 액체 냉각 설계

컴퓨팅 전력 수요의 기하급수적 증가로 CPU와 GPU의 통합 및 전력 소비가 크게 증가하여 단일 칩 전력 소비가 300W에 도달했습니다. 기존의 칩 히트싱크와 공랭 솔루션은 냉각 병목 현상에 부딪혔습니다. 칩이 열원이기 때문에 데이터 센터 냉각 시스템의 주요 과제는 칩 내부에서 열을 효율적으로 제거하는 것입니다.

 

방열 관점에서 칩에서 생성된 열은 먼저 보드 레벨 방열판으로 전달되어야 합니다. 더 효율적인 방열판 솔루션은 더 나은 열 수집을 용이하게 합니다.

 

전력 소비가 200W 미만인 단일 칩과 랙당 전력 소비가 20kW 미만인 IT 장비의 경우, 공기는 ​​열 전달 매체로 계속 사용될 수 있습니다. 열 파이프 히트싱크와 증기 챔버(VC) 히트싱크는 높은 열 전도성 TIM 소재(예: 흑연 시트/그래핀)와 결합하여 칩과 히트싱크 베이스 사이의 열 저항을 효과적으로 줄여 히트싱크의 효율성을 개선합니다.

 

전력 소비가 200W를 초과하는 단일 칩과 랙당 전력 소비가 20kW를 초과하는 IT 장비의 경우, 공기는 ​​더 이상 열 전달 매체로 충분하지 않으며 냉각을 위해 액체 냉각수를 사용해야 합니다. 액체 냉각 냉각판 기술은 현재 보드 레벨 칩 냉각을 위한 성숙한 솔루션입니다. 액체 냉각 냉각판은 진공 브레이징으로 연결되어 밀폐된 액체 열 교환 챔버를 형성하는 입구 및 출구 커넥터, 상부 커버 및 베이스 플레이트로 구성됩니다. 챔버에는 분배 챔버와 다양한 폭의 흐름 채널이 포함되어 있어 유체 흐름을 제어하고 난류를 증가시켜 국부 냉각 기능을 향상시키고 고전력 칩으로 인한 핫스팟을 제거합니다. 내부 구조는 그림 2에 나와 있습니다.

 

▲ 그림 2: 액체 냉각 냉각판의 단면도

 

동일한 랙 내의 다양한 유형의 보드는 전력 수준과 핫스팟이 다르지만, 액체 공급 라인의 입구 커넥터에서 공급 압력은 일반적으로 동일하여 냉각판의 분배 챔버에서 조절을 제어해야 합니다. 칩 전력 소비가 낮은 보드의 경우 조절은 냉각수의 흐름을 줄입니다. 실제로 액체 냉각 냉각판은 CPU, 메모리 및 기타 고전력 구성 요소를 덮지만, 덮이지 않은 저항기 및 커패시터와 같은 구성 요소는 팬 냉각이 필요한 잔여 열을 생성합니다. 이로 인해 시스템 내에서 액체 냉각과 공기 냉각이 결합되어 냉각 효율을 개선할 여지가 생깁니다.

 

냉각판 설계 시 모든 구성 요소를 덮기 위해 TIM 소재를 사용하면 기술적으로 100% 액체 냉각을 달성할 수 있지만, 이는 냉각판의 비용과 복잡성을 증가시킵니다. 효율적인 냉각을 추구하는 동안 초기 비용 투자도 고려해야 합니다. 노드 보드 유형이 균일한 경우 완전히 덮인 보드를 고려할 수 있으며, 초기 비용은 생산 규모를 확대하여 상쇄하여 에너지 절감과 투자 간의 균형을 이룹니다.

 

 

탈이온수는 높은 비열 용량으로 인해 액체 냉각에서 냉각제로 일반적으로 사용되며, 부식성이 없어 파이프라인 신뢰성에 영향을 미치지 않으면서도 빠른 열 흡수가 가능합니다. 콜드 플레이트 액체 냉각은 간접적이며 칩이 액체 냉각제와 직접 접촉하지 않아 신뢰성이 높고 기술이 성숙합니다.

 

그러나 칩과 액체 냉각수 사이에 열 저항이 존재하여 일부 제조업체는 침지 냉각 솔루션을 홍보합니다. 침지 냉각에서 IT 장비는 순환 액체에 잠기고 칩은 냉각수와 직접 접촉하여 열 저항을 줄이는 동시에 상 변화를 활용하여 더 많은 열을 제거하여 액체 냉각의 새로운 핫스팟이 됩니다. 불소화 액체는 침지 냉각에서 냉각수로 일반적으로 사용되지만 높은 비용이 대규모 상업적 사용에 대한 장벽입니다.

 

2. 랙 레벨 액체 냉각

데이터 센터에서 IT 장비는 서버, 스토리지 장치, 네트워크 스위치와 같은 데이터 센터 정보 장비를 수용하는 랙으로 배열됩니다. 보드 레벨 냉각이 개별 IT 장치에서 열을 제거하는 반면, 랙 레벨 냉각은 열을 수집하여 외부로 전달합니다. 랙 레벨 액체 냉각의 주요 구성 요소에는 그림 3과 같이 유입 및 유출 매니폴드, 모니터링 장치, 온도 센서, 솔레노이드 밸브, 체크 밸브가 있습니다.

 

▲ 그림 3: 랙 레벨 액체 냉각 구성

 

매니폴드는 외부적으로 실내 액체 냉각 분배 장치에 연결되고, 빠른 커넥터를 통해 내부적으로 액체 냉각 냉각판의 입구 및 출구 커넥터에 연결되어 시스템 열을 랙 외부로 전달합니다.

솔레노이드 밸브와 체크 밸브의 주요 기능은 액체의 흐름을 제어하고 누출이 발생할 경우 고장 범위를 단일 랙으로 제한하는 것입니다.

 

온도 센서의 주요 역할은 유입수와 유출수 온도를 지속적으로 모니터링하는 것입니다. 유입수와 유출수 사이의 온도 차이를 활용하여 솔레노이드 밸브의 개방을 제어하여 물의 흐름을 제어하고 열과 흐름이 일치하도록 합니다.

액체 냉각 시스템은 작동 유체로 탈이온수를 사용하므로 이론적으로는 단락이 발생하지 않습니다.

 

그러나 회로 기판이나 전자 부품에는 종종 먼지 입자가 있으며, 탈이온수가 회로 기판과 접촉하면 단락이 발생할 수 있습니다. 이는 액체 냉각 구현의 주요 장애물 및 우려 사항 중 하나입니다. 콜드 플레이트 누출 문제를 해결하기 위해 품질 관리, 미세 누출 모니터링 및 갑작스러운 대량 누출 방지와 같은 조치가 사용됩니다.

 

품질 관리 단계는 생산 및 설치 적용 단계로 나뉩니다. 생산 단계에서는 공정 신뢰성이 보장되고, 100%의 콜드 플레이트가 압력 테스트를 거치고, 초음파를 사용하여 무작위 샘플링과 결함 탐지를 수행합니다. 퀵 커넥트 피팅은 효과적인 삽입과 장기 신뢰성을 위해 검증되어야 합니다. 설치 적용 단계에서는 불순물이 퀵 커넥트 피팅의 막힘, 스프링 걸림 또는 고무 링 고장을 일으키지 않도록 설치 전에 보조 파이프를 깨끗이 플러싱하여 작동 중 누출을 방지해야 합니다. 위의 조치는 가능한 한 누출을 방지하는 것을 목표로 합니다.

 

 

냉각판에 미세 누출이 발생하면 이를 감지하여 경보를 발생시켜 유지 관리 인력이 즉시 수리하도록 해야 합니다. 감지 방법에는 두 가지가 있습니다. 하나는 물받이 판에 설치된 물 침수 센서를 사용하는 것입니다. 물받이 판의 주요 기능은 누출 감지를 용이하게 하고 랙 밖으로 액체가 새는 것을 방지하여 결함 확산을 줄이는 것입니다.

 

침수 센서 감지 기술은 성숙되고 신뢰할 수 있는 기술이지만, 누출된 액체가 하드웨어 보드와 랙 피팅을 따라 흐른 후 물받이에 축적되어야 하며, 이때쯤이면 누출된 액체의 총량이 상당할 수 있고 이미 흐름 중에 보드와 구성 요소가 손상되었을 수도 있습니다.

 

다른 방법은 실시간 모니터링입니다. 끓는점이 낮은 추적 물질을 작동 유체에 혼합하고 누출이 발생하면 보드에 내장된 가스 센서가 이를 감지합니다. 대규모 갑작스러운 누출은 드물지만 매우 큰 영향을 미칩니다. 이러한 사고를 방지하기 위해 랙의 매니폴드 입구와 출구에 체크 밸브를 설치합니다. 이러한 체크 밸브는 상당한 압력 차이가 감지되면 자동으로 닫힙니다.

 

3. 룸 레벨 액체 냉각 설계

실내 냉각은 랙에서 추출된 열을 실외로 전달하도록 설계되었습니다. 실내 액체 냉각 솔루션에는 그림 4에 표시된 대로 액체 냉각 모듈형 데이터 룸, 냉각기, 워터 펌프, 냉각탑, 배관 등이 포함됩니다.

 

▲ 그림 4: 실내 레벨 액체 냉각 구성

 

일반적으로 액체 냉각 모듈형 데이터 룸에는 그림 4에서 보듯이 백업 액체 냉각 분배 장치(CDU) 2개, 10-20 IT 랙, 1-2 행 수준 에어컨 및 전원 공급 장비가 포함됩니다.

 

액체 냉각 분배 장치(CDU)는 IT 액체 냉각 랙 간에 작동 유체를 분배하고, 2차 측 흐름 분배, 압력 제어, 물리적 격리 및 응축 방지 기능을 제공하는 역할을 합니다. 실제 작동 중에 CDU는 IT 액체 냉각 랙에 특정 흐름과 온도의 냉각수를 공급하고, 이 냉각수는 매니폴드를 통해 액체 냉각 냉각판에 들어가 프로세서와 핵심 구성 요소에서 생성된 열을 제거하고 가열된 냉각수를 CDU의 중간 열 교환 장치로 반환합니다. 그런 다음 열은 외부 리턴 워터 파이프라인으로 방출되고, 이 열의 일부는 냉각기 또는 건식 쿨러를 통해 외부 환경으로 배출되어 액체 냉각 서버의 열 관리 프로세스가 완료됩니다.

 

CDU는 액체 냉각 냉각판에 유입되는 냉각수의 온도와 흐름을 조절하여 IT 랙에 냉각을 제공하고 냉각 전력을 분배합니다. 내부 열 교환 장치는 또한 모듈형 데이터 룸과 실외 환경 사이의 액체 공급 회로를 격리하는 역할을 합니다. 중요한 역할로 인해 CDU는 일반적으로 1+1 중복 구성을 사용합니다. CDU는 유입 및 유출 수온과 공급 압력을 감지하고 공급 수 펌프의 속도를 조정하여 액체 냉각수의 흐름을 제어합니다.

 

 

현재 대부분의 CDU 제어 시스템은 랙 내부의 온도 센서와 연결되지 않아 비교적 거친 제어가 이루어집니다. 이 문제를 해결하기 위해 일부 애플리케이션은 중앙 집중형 CDU를 랙에 통합된 분산형 CDU로 대체했습니다. 이런 방식으로 CDU 흐름 조정은 전적으로 랙의 운영 상태와 전력 소비 변동에 따라 이루어집니다. 중앙 집중형 CDU는 모듈형 데이터 룸으로 통합할 수 있는 많은 수의 액체 냉각 랙이 있는 시나리오에 적합한 반면 분산형 CDU는 2-3개의 액체 냉각 랙만 있는 상황에 더 적합하여 배포가 더 쉽습니다.

 

 

III 결론

 

이중 탄소 목표의 지침에 따라 데이터 센터는 이중 사명을 지닙니다. 한편으로는 집약적이고 확장된 운영을 통해 디지털 경제에 충분한 컴퓨팅 파워를 제공합니다. 데이터 센터 컴퓨팅 파워의 효율성에 의해 주도되는 고밀도 랙과 고전력 칩의 광범위한 적용으로 인해 기존의 공랭식은 병목 현상에 부딪혔습니다. 반면, 고효율 열교환기, 액체 냉각 및 건식 쿨러의 자연 냉각을 활용함으로써 데이터 센터는 자체 에너지 소비를 줄일 수 있습니다.

 

액체 냉각을 도입한 후 냉각 효율이 크게 향상되어 냉각 시스템의 에너지 소비가 37%에서 약 10%로 감소하여 상당한 에너지 절감과 탄소 감소가 이루어졌습니다. 전국의 신축 데이터 센터의 50%가 액체 냉각을 도입하면 연간 450억 kWh의 전기를 절약할 수 있으며 300만 톤의 CO₂ 배출량을 줄일 수 있다.