완전 액체 냉각 냉각판 서버

 

액체 냉각 기술 개발을 더욱 발전시키고 생태계를 성숙시키기 위해 Inspur Information은 Intel과 협력하여 범용 고밀도 서버를 위한 액체 냉각 설계를 최적화하는 데 주력해 왔습니다.

 

CPU 및 GPU 액체 냉각이 업계에서 널리 채택된 것과 더불어, 고전력 메모리, 솔리드 스테이트 드라이브(SSD), OCP 네트워크 카드, PSU, PCIe 카드 및 광 모듈을 위한 액체 냉각에 대한 심층적인 탐색과 연구가 수행되었습니다.

 

이러한 노력의 결과로 업계에서 가장 높은 액체 냉각 범위가 달성되었고, 다양한 수준의 액체 냉각 범위에 대한 여러 배포 요구 사항을 충족시켰으며, 인터넷 및 통신과 같은 산업의 고객에게 일반적인 인프라 기능과 다양한 기술 지원을 제공하게 되었습니다.

 

이 완전 액체 냉각 냉각판 시스템 개발은 Inspur Information의 2U 4노드 고밀도 컴퓨팅 서버 i24를 기반으로 합니다. 각 액체 냉각 노드는 16개의 DDR5 메모리 모듈, 1개의 PCIe 확장 카드, 1개의 OCP 3.0 네트워크 카드와 페어링된 2개의 Intel 5세대 Xeon 확장 가능 프로세서를 지원합니다. 전체 시스템은 최대 8개의 SSD를 지원하여 고밀도 컴퓨팅 파워를 달성하는 동시에 고객의 스토리지 요구 사항을 충족합니다.서버의 주요 발열 구성 요소로는 CPU, 메모리, I/O 카드, 로컬 하드 드라이브, 섀시 전원 공급 장치 등이 있습니다.

 

액체 냉각 솔루션은 냉각판과 열원의 접촉을 통해 시스템 열의 약 95%를 액체로 직접 제거할 수 있습니다. 나머지 5%의 열은 PSU 뒤에 있는 공기-액체 열교환기의 냉각수로 운반되어 시스템 수준에서 거의 100%의 액체 열 포집을 달성합니다.

 

 

I 시스템 구성 및 파이프라인 레이아웃

 

1. 완전 액체 냉각 서버 시스템 개요

2U 4노드 완전 액체 냉각 서버 시스템은 노드, 섀시, 미드 플레인 및 SSD 모듈로 구성됩니다. 노드와 섀시 구성 요소 간의 연결은 퀵 커넥터, 전원 및 신호 커넥터를 통한 물, 전원 및 신호에 대한 블라인드 메이트 연결을 통해 실현됩니다.

 

▲ 그림 1. 2U 4노드 풀 웨이브 냉각 서버

 

2. 완전 액체 냉각 서버 단일 노드 개요

완전 액체 냉각 서버 노드는 노드 셸, 마더보드, CPU 칩, 메모리 모듈, 메모리 냉각판, CPU 냉각판, I/O 냉각판, 전원 공급 장치, 전원 공급 장치를 위한 후면 열교환기로 구성됩니다.

 

▲ 그림 2. 풀 액체 냉각 서버 노드

 

 

II 흐름 패턴 선택 및 유량 계산

 

흐름 경로 설계의 복잡성을 단순화하기 위해 이 완전 액체 냉각 서버는 냉각수에 대한 시리즈 흐름 경로 설계를 사용합니다. 냉각수는 열 발산을 위해 저전력 구성 요소에서 고전력 구성 요소로 흐릅니다. 자세한 흐름 방향은 아래 다이어그램과 표에 나와 있습니다.

 

▲ 2U 4노드 풀 액체 냉각 서버의 시리즈 흐름 경로

 

▲ 표 3. 냉각 매체 흐름 순서

 

완전 액체 냉각의 유량~ 주도의섬기는 사람 m시스템의 냉각 요구 사항을 충족해야 합니다.

• 2차측 배관재의 장기적 신뢰성을 보장하기 위해 2차측 복귀수 온도는 65도를 초과해서는 안 됩니다.
• 정의된 경계 조건 내에서 완전 액체 냉각 서버의 모든 구성 요소가 냉각 요구 사항을 충족하는지 확인하기 위해 유량 설계 분석을 위해 구리 냉각판과 PG25가 선택되었습니다.

 

2차 측의 반환수 온도가 65도를 초과하지 않는다는 요구 사항을 충족하기 위해 노드당 PG25의 최소 유량 Qmin은 다음 공식을 사용하여 계산됩니다.

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1.3 LPM

 

 

III 완전 액체 냉각 서버 냉각판의 핵심 구성 요소 설계

 

1. CPU 콜드 플레이트 디자인

CPU 콜드 플레이트 모듈은 인텔 5세대 제온 확장 가능 프로세서 콜드 플레이트 설계 요구 사항을 기반으로 최적화된 레퍼런스 디자인입니다. 냉각, 구조적 성능, 수율, 비용 및 다양한 재료와의 호환성과 같은 요소를 고려합니다. CPU 콜드 플레이트는 주로 CPU 콜드 플레이트 알루미늄 브래킷, CPU 콜드 플레이트 및 콜드 플레이트 커넥터로 구성됩니다.

 

▲ 그림 4. CPU 콜드 플레이트 모듈

 

2. 메모리 액체 냉각 설계

메모리 액체 냉각 설계는 철도 선로의 슬리퍼처럼 배열된 메모리 모듈의 이름을 딴 혁신적인 슬리퍼 히트싱크 액체 냉각 솔루션을 채택합니다. 이 솔루션은 기존의 공랭식 냉각과 냉각판 냉각을 결합합니다. 히트 파이프(또는 순수 알루미늄/구리판, 증기 챔버 등)가 내장된 히트싱크는 메모리 모듈에서 양쪽 끝으로 열을 전달합니다. 그런 다음 열은 선택된 열 패드를 통해 냉각판으로 전달되고 마지막으로 냉각판 내부의 냉각수가 열을 제거하여 메모리 냉각을 달성합니다.

 

메모리와 히트싱크는 시스템 외부의 가장 작은 유지 관리 장치(이하 메모리 모듈이라고 함)에 조립할 수 있습니다. 메모리 콜드 플레이트는 히트싱크와 메모리 콜드 플레이트 사이의 양호한 접촉을 보장하기 위한 메모리 모듈 고정 구조를 특징으로 합니다. 이 고정 구조는 필요에 따라 나사로 고정하거나 도구 없이 유지할 수 있습니다. 메모리 콜드 플레이트의 상단은 메모리를 냉각하고 하단은 VR과 같은 마더보드의 다른 발열 구성 요소를 냉각할 수 있습니다. 메모리 콜드 플레이트 설계를 단순화하기 위해 메모리와 마더보드 사이에 어댑터 브래킷을 설계하여 다양한 마더보드의 높이 제약을 충족할 수 있습니다.

 

▲ 그림 5. Sleeper 히트싱크 액체 냉각 솔루션

 

시중에 나와 있는 기존 튜빙 메모리 액체 냉각 솔루션과 비교했을 때, 슬리퍼 히트싱크 액체 냉각 솔루션은 다음과 같은 주요 장점을 가지고 있습니다:

 

쉬운 유지관리:메모리 유지관리는 히트싱크와 패스너를 제거할 필요 없이 공랭식 메모리 모듈을 유지하는 것만큼 간단합니다. 이를 통해 액체 냉각식 메모리의 조립 효율성과 안정성이 크게 향상되어 시스템에서 분해 및 재조립하는 동안 메모리 칩과 열 패드에 대한 잠재적 손상이 줄어듭니다.

 

좋은 호환성:이 솔루션의 방열 성능은 메모리 칩 두께와 메모리 간격의 영향을 받지 않습니다. 최소 7.5mm 이상의 메모리 간격과 호환됩니다. 방열판과 냉각판의 분리된 설계로 메모리 액체 냉각의 재사용 및 표준화가 가능합니다.

 

더 높은 비용 효율성:메모리 히트싱크는 메모리 전력 소비량에 따라 선택할 수 있으며, 다양한 프로세스와 냉각 기술을 사용할 수 있으며, 메모리에 따라 필요에 따라 수량을 구성할 수 있습니다. 7.5mm 메모리 간격 시나리오에서 30W를 초과하는 메모리 모듈의 냉각 요구 사항을 충족할 수 있습니다.

 

제조 및 조립의 용이성:메모리 슬롯 사이에 액체 냉각 튜브가 없으므로 복잡한 튜브 용접 및 공정 제어가 필요 없습니다. 기존의 공랭식 히트싱크와 일반적인 CPU 냉각판 제조 공정을 사용할 수 있습니다. 히트싱크를 조립할 때 방열 성능은 메모리 칩 평면에 수직인 방향의 히트싱크와 마더보드 사이의 허용 오차에 민감하지 않아 열 접촉이 불량해지는 것을 방지하고 조립을 더 쉽게 만듭니다.

 

좋은 신뢰성:슬리퍼 액체 냉각 솔루션은 조립 중에 메모리 칩과 열 패드에 대한 잠재적 손상을 방지하고 여러 번의 삽입 및 제거를 견딜 수 있습니다. 또한 메모리와 튜빙 액체 냉각 솔루션을 설치한 후 메모리와 슬롯 사이에서 기울어짐으로 인한 신호 접촉 실패 위험을 방지하여 시스템 안정성을 크게 향상시킵니다.

 

3. 하드 드라이브 액체 냉각 설계

혁신적인 솔리드 스테이트 드라이브(SSD) 액체 냉각 솔루션은 내장된 히트 파이프가 있는 방열판을 활용하여 열 패드와 직접 접촉하여 하드 드라이브 영역의 열을 하드 드라이브 영역 외부의 냉각판으로 전달하여 열 교환을 달성합니다.

 

이 SSD 액체 냉각 솔루션은 주로 히트싱크, SSD 콜드 플레이트, 하드 드라이브 모듈 잠금 장치, 하드 드라이브 브래킷이 장착된 SSD 모듈로 구성됩니다. 하드 드라이브 모듈 잠금 장치는 하드 드라이브 브래킷에 고정되어 적절한 사전 적재력을 제공하여 SSD 모듈과 SSD 콜드 플레이트 간의 장기적인 접촉 신뢰성을 보장합니다. 제한된 공간에서 하드 드라이브 콜드 플레이트 루프를 설치하기 쉽도록 하드 드라이브 브래킷은 서버의 깊이 방향으로 서랍형 설치 방법으로 설계되었습니다.

 

▲ 그림 6. 혁신적인 솔리드 스테이트 드라이브 액체 냉각 솔루션

 

업계 내 기존 하드 드라이브 액체 냉각 시도와 비교했을 때 이 솔루션의 고급 기능은 다음과 같습니다.

 

• 시스템 전원을 끄지 않고도 30개 이상의 핫스왑을 지원합니다.
• 하드 드라이브를 설치하는 동안 열 인터페이스 재료가 전단 손상될 위험이 없으며, 잠금 장치 설계로 장기적인 접촉 신뢰성이 보장됩니다.
• 액체 냉각 솔루션의 경우 처리 요구 사항이 낮습니다. 기존의 공랭식 및 CPU 냉각판 처리 기술만 필요합니다.
• 하드 드라이브 간에는 방수 설계가 적용되지 않아 여러 개의 하드 드라이브가 동일한 냉각판을 공유할 수 있어 접합부 수가 줄어들고 누수 위험도 낮아집니다.
• 다양한 두께와 수량의 솔리드 스테이트 드라이브(SSD)를 사용하는 시스템에 유연하게 적응합니다.

 

4. PCIe/OCP 카드 액체 냉각 설계

 

PCIe 액체 냉각 솔루션

PCIe 카드 액체 냉각 솔루션은 기존의 공랭식 PCIe 카드를 기반으로 합니다. 시스템 콜드 플레이트와 접촉할 수 있는 PCIe 카드 냉각 모듈을 개발하여 PCIe 카드의 광 모듈과 메인 칩을 냉각합니다. 광 모듈의 열은 히트 파이프를 통해 PCIe 카드 칩의 메인 냉각 모듈로 전달되고, 냉각 모듈은 적절한 열 인터페이스 소재를 통해 IO 콜드 플레이트와 열을 교환합니다.

 

액체 냉각 PCIe 카드는 주로 QSFP 방열판 클립, PCIe 칩 냉각 모듈 및 PCIe 카드 자체로 구성됩니다. QSFP 방열판 클립은 적절한 탄성으로 설계되어 PCIe 냉각 모듈의 QSFP 방열판과 케이지가 결합될 때 적절한 플로팅을 보장하여 좋은 사용자 경험을 제공하고 광 모듈의 손상을 방지하며 효과적인 냉각을 위한 안정적인 접촉을 보장합니다.

 

▲ 그림 7. PCle 카드 액체 냉각 모듈

 

OCP3.0 액체 냉각 솔루션

OCP3.0 카드 액체 냉각 솔루션은 PCIe 카드와 유사하며, OCP3.0 카드에는 맞춤형 액체 냉각 방열판이 사용됩니다. 카드의 칩에서 생성된 열은 액체 냉각 방열판으로 전달되고, 열은 최종적으로 방열판과 시스템의 IO 냉각판 사이의 접촉을 통해 소산됩니다.

 

OCP3.0 액체 냉각 모듈은 주로 히트싱크 모듈, OCP3.0 카드 및 브래킷으로 구성됩니다. 공간 제약으로 인해 스프링 나사를 잠금 장치로 사용하여 액체 냉각 OCP3.0 카드가 조립된 후 히트싱크 모듈과 IO 콜드 플레이트 사이의 장기 접촉 신뢰성을 보장합니다.

 

▲ 그림 8. OCp3.0 액체 냉각 모듈

 

향후 유지관리의 용이성과 OCP3.0 카드의 여러 핫스왑에 대한 필요성을 고려하여 잠금 장치의 설계와 열 인터페이스 재료의 선택이 최적화되어 전반적인 안정성과 작동 및 유지관리의 용이성이 향상되었습니다.

 

IO 콜드 플레이트 솔루션

IO 냉각판은 마더보드의 IO 영역 내부의 가열 구성 요소에서 열을 발산할 뿐만 아니라 액체 냉각 PCIe 카드와 액체 냉각 OCP3.0 카드를 냉각하는 다기능 냉각판입니다.

 

▲ 그림 9. lO 콜드 플레이트

 

▲ 그림 10. 액체 냉각 PCle 카드, 액체 냉각 OCP3.0 및 IO 콜드 플레이트의 위치

 

IO 콜드 플레이트는 주로 IO 콜드 플레이트 본체와 구리 튜브 채널로 구성됩니다. IO 콜드 플레이트 본체는 알루미늄 합금으로 만들어지고 구리 튜브는 냉각 유체 채널을 담당하고 방열을 향상시킵니다. 특정 설계는 마더보드 레이아웃과 구성 요소 냉각 요구 사항에 따라 최적화해야 합니다. 액체 냉각 PCIe 카드와 액체 냉각 OCP3.0 카드의 방열판 모듈은 화살표 방향을 따라 IO 콜드 플레이트와 접촉합니다. 냉각 유체 채널의 재료 선택은 시스템의 파이프라인 냉각 유체 및 습윤 재료와의 호환성을 고려해야 합니다.

 

이 IO 냉각판 액체 냉각 솔루션은 여러 구성 요소의 다차원 조립 요구 사항을 충족합니다. 구리와 알루미늄 소재를 혼합하여 사용하면 소재 호환성 문제가 해결되고 냉각 효과가 보장되며 냉각판의 무게를 60% 줄이고 비용을 절감할 수 있습니다.

 

5. 전원 공급 냉각판 설계

전원 공급 장치 액체 냉각 솔루션은 기존 공랭식 전원 공급 장치에 외부 공기-액체 열교환기를 부착하여 PSU 팬의 배출 공기를 냉각하여 외부 데이터 센터 환경의 시스템 예열을 줄이는 것입니다.

 

PSU 후면 열교환기는 채널과 핀이 서로 겹쳐진 다층 구조를 가지고 있습니다. PSU 후면 열교환기의 크기는 냉각 요구 사항, 무게 및 비용의 균형을 맞춰야 하며 전원 코드 삽입/제거 기능을 방해하지 않고 시스템 캐비닛의 공간 제약을 충족해야 합니다. PSU 후면 열교환기는 노드 브래킷에 독립적으로 장착됩니다.

 

▲ 그림 11. PSU 후면 열교환기

 

이 혁신적인 전원 공급 액체 냉각 솔루션은 새로운 액체 냉각 전원 공급 장치를 개발할 필요성을 없애 개발 주기를 단축하고 개발 비용을 절감합니다. 뛰어난 다재다능성 덕분에 여러 공급업체의 전원 공급 솔루션에 유연하게 적응하여 맞춤형 액체 냉각 전원 공급 장치와 비교하여 60% 이상을 절약할 수 있습니다.

 

전체 캐비닛을 포함하는 애플리케이션의 경우 전원 공급 액체 냉각은 중앙 공기-액체 열교환기 솔루션을 활용할 수도 있습니다. 여기에는 캐비닛의 전면 및 후면 도어를 밀봉하고 캐비닛 하단에 중앙 공기-액체 열교환기를 배치하여 PSU 뒤의 분산 공기-액체 열교환기 구조를 중앙화된 구조로 교체하는 것이 포함됩니다.

 

중앙 공기-액체 열교환기는 열교환을 강화하기 위해 친수성 층으로 코팅된 알루미늄 골판지 핀과 높은 열전달 계수 구리 파이프로 구성되어 있습니다. 10도 온도 차이로 최소 8kW의 냉각 용량을 제공할 수 있습니다. 열교환기의 흐름 경로는 시뮬레이션을 통해 최적화되어 낮은 저항에서 더 많은 흐름을 처리합니다. 결로 방지 설계와 포괄적인 누출 감지 기능이 있어 안전 위험을 제거합니다. 특수 힌지 설계는 높은 하중 요구 사항을 충족하고 카드 슬롯 연결 설계는 설치 및 유지 관리를 용이하게 합니다.

 

단일 액체 냉각 서버의 열의 95% 이상이 냉각판으로 관리되므로 공기-액체 열 교환기가 처리해야 하는 열은 5% 미만입니다. 각 노드는 40-50W의 공기-액체 열 교환만 필요하고 단일 중앙 공기-액체 열 교환기는 8kW의 열 교환 용량을 지원하여 150개 이상의 노드에 대한 냉각을 수용할 수 있으며, 150개의 분산형 공기-액체 열 교환기보다 비용이 훨씬 저렴합니다.

 

이 솔루션을 사용하면 서버 전원 공급 장치가 변경되지 않은 상태로 유지되고, 생성된 열은 캐비닛 후면의 중앙 공기-액체 열 교환기에 의해 수집되어 균일하게 교환됩니다. 열은 캐비닛 내에서 자체 순환을 형성하여 데이터 센터 환경에 영향을 미치지 않으므로 진정한 "랙을 컴퓨터로" 구현합니다.