뜨거워진 AI 반도체, 액체 냉각이 표준 인프라로 부상

인공지능(AI)의 패러다임이 학습에서 추론으로 넘어가면서 메모리의 고질적인 취약점인 발열을 해결하기 위한 기술이 발전을 거듭하고 있다.

업계는 차세대 기술인 액체 냉각 기술을 고성능 AI 인프라의 표준으로 선정하고 시장을 넓혀가는 모습이다.

18일 시장조사업체 트렌드포스에 따르면 AI 칩에 액체 냉각 기술이 적용되는 비율은 지난해 약 33%에서 올해 53%로 증가하고, 내년에는 60%에 육박할 것으로 전망된다.

트렌드포스는 "엔비디아와 AMD, 구글 등이 개발하는 AI 칩의 성능이 빠르게 향상되면서 개별 칩의 열 설계 전력(TDP)이 1kW를 넘어섰고, 랙 단위 AI 서버 솔루션은 수백 킬로와트의 전력을 소비하는 수준에 이르렀다"고 설명했다. 기존 공랭식으로는 이 같은 발열을 감당하기 어려워지면서 냉각 효율이 높은 액체 냉각 방식이 확산되고 있다는 설명이다.
엔비디아는 올해 랙 스케일 솔루션 출하량이 전년 대비 2배 늘어날 것으로 예상한다. 2등급 데이터센터 운영업체의 AI 투자 확대와 중국 통신 서비스 제공업체(CSP)의 해외 AI 프로젝트 수요 증가가 배경으로 꼽힌다. 내년 출시 예정인 '카이버 NVL144'의 지연 가능성에도, 그래픽처리장치(GPU) 랙 수요는 전년 대비 30% 이상 늘어날 것으로 전망했다.

AMD는 독립형 GPU 중심 전략에서 벗어나 포괄적인 AI 플랫폼으로 사업을 확장하고 있다. 올해 하반기부터 중앙처리장치(CPU)와 GPU, 고속 인터커넥트를 통합한 랙 스케일 솔루션 '헬리오스 AI(Helios AI)'에 주력하고, 내년 본격적인 출하를 목표로 하고 있다. 이와 함께 'MI450' 플랫폼 개발을 이어가는 한편 엔비디아의 '루빈 울트라(Rubin Ultra)'와 경쟁할 차세대 'MI500' 플랫폼 개발에도 속도를 내고 있다.

구글은 클라우드 서비스 제공업체(CSP) 가운데 액체 냉각 도입에 가장 적극적이다. 현재 구글 AI 서버의 80% 이상이 액체 냉각 방식을 적용하고 있다. 자체 AI 가속기(TPU) 개발과 AI 인프라 통합 과정에서 쌓은 경험을 바탕으로 고도로 맞춤화한 냉각 아키텍처를 구축했으며, TPU 전력 소비량과 출하량이 계속 늘어나면서 개별 서버부터 랙 규모 시스템 설계까지 액체 냉각 기술 확장을 주도하고 있다.

공급망 측면에서 액체 냉각 시스템은 콜드 플레이트, 매니폴드, CDU(Cold Device Unit) 등이 핵심 부품으로 꼽힌다. 이들 부품은 공랭식 대비 냉각 효율이 높고 전력 사용 효율(PUE)을 개선하는 효과가 있다. 엔비디아의 차세대 플랫폼 '베라 루빈(Vera Rubin)'이 팬 없이 완전 액체 냉각 방식을 채택하면서, 이 같은 냉각 방식은 GPU와 CPU뿐 아니라 네트워크 인터페이스 카드, 전원 보드 등 설계 전반으로 확산되고 있다. 주요 콜드 플레이트 공급업체로는 쿨러 마스터, AVC, BOYD, Auras 등이 꼽힌다.


유덕규 글로벌이코노믹 기자 udeok@g-enews.com