“삼성·SK, 더 이상 엔비디아의 부품이 아니다”... AI 심장을 노리는 ‘메모리의 하극상’

HBM(고대역폭메모리)으로 촉발된 AI 반도체 열풍이 거세다. 한국 반도체 기업들은 HBM 시장을 선점하며 유례없는 호황을 누리고 있지만, 업계 내부의 공기는 차갑다. 엔비디아가 주도하는 현재의 HBM 구조는 조만간 전력 소모와 물리적 용량의 한계라는 '벽'에 부딪힐 것이 자명하기 때문이다.

국내 반도체와 인공지능 업계와 학계 전문가들은 입을 모아 말한다. "HBM 이후를 선점하지 못하는 기업은 순식간에 2류로 전락할 것"이라고. 삼성전자와 SK하이닉스가 사활을 걸고 준비 중인, AI 시대 메모리 패권을 뒤집을 6대 '포스트 HBM' 기술의 실체를 분석했다.


현재 AI 서버는 GPU(그래픽처리장치)마다 전용 HBM이 붙어 있는 구조다. 이는 자원 낭비와 용량 제한을 초래한다. CXL은 이 벽을 허문다. 모든 CPU와 GPU가 외부의 거대한 '메모리 풀(Pool)'을 공유하게 만든다. 서버 전체의 메모리 용량을 획기적으로 늘릴 수 있어, 삼성과 SK뿐만 아니라 인텔, AMD 등 글로벌 거물들이 가장 공을 들이는 기술이다.

데이터를 연산 장치(GPU)로 옮기는 과정에서 발생하는 전력 손실은 AI 모델이 커질수록 재앙 수준이 된다. PIM은 메모리 내부에 연산기(ALU)를 박아 넣는 '발상의 전환'이다. 데이터 이동을 원천 차단해 전력 효율을 기존 대비 최대 30배까지 끌어올릴 수 있다. '기억만 하는 메모리'의 시대가 저물고 '생각하는 메모리'의 시대가 열리는 셈이다.


AI 모델의 실시간 추론을 위해서는 엄청나게 빠른 캐시 메모리가 필요하다. 하지만 기존 SRAM(정적 랜덤 액세스 메모리)은 비싸고 전기를 많이 먹는다. 자기저항메모리(MRAM)과 강유전체메모리(FeRAM)를 이용한 차세대 메모리는 전원을 꺼도 데이터가 사라지지 않으면서(비휘발성), SRAM 수준의 속도를 낸다. 특히 FeRAM은 DRAM보다 2배 높은 성능에 2.5배 낮은 전력을 소모해 에지(Edge) AI 기기의 핵심으로 꼽힌다.


저항 변화를 이용하는 ReRAM은 초고밀도 집적이 가능해 인간의 뇌 구조를 모방한 '뉴로모픽 컴퓨팅' 구현의 0순위 후보로 꼽힌다. 저전력으로 복잡한 신경망 연산을 수행할 수 있어 차세대 AI 하드웨어의 게임체인저로 불린다.


HBM이 DRAM을 쌓은 것이라면, HBF는 낸드플래시를 HBM 구조로 쌓은 기술이다. HBM보다 속도는 느리지만, 압도적인 데이터 저장 용량을 자랑한다. 초거대 AI가 학습해야 할 천문학적 데이터를 저렴하고 효율적으로 보관하기 위한 필수 기지로 주목받고 있다.

과거 반도체의 주인공이 CPU와 GPU였다면, 앞으로는 메모리가 시스템의 중심이 된다. 데이터 이동을 줄이고, 메모리 안에서 연산을 해결하며, 무한대에 가까운 용량을 제공하는 쪽이 AI 시장의 진짜 포식자가 될 것이다.

삼성전자와 SK하이닉스가 그리는 미래 지도는 명확하다. HBM의 성공에 취해 있을 시간은 없다. 6대 차세대 메모리 기술 중 누가 더 많은 '표준'을 선점하느냐에 따라 향후 30년의 반도체 순위표가 다시 쓰일 것이다."


이교관 글로벌이코노믹 기자 yijion@g-enews.com