“엔비디아가 연 새로운 반도체 대륙”... HBM의 전성기를 넘어 ‘설계의 시대’가 부른 거대한 권력 이동

AI 성능을 뒤집는 3가지 기술, 이미 데이터센터(서버와 저장 장치를 모은 거대 시설) 안에서 비밀 실험이 끝났다
컴퓨트 인 메모리(메모리 내부에서 직접 계산하는 기술)·온칩 캐시 확장·실리콘 포토닉스, 승자는 부품이 아니라 구조다

삼성전자는 최근 국내에서 열린 JP모건 투자자 컨퍼런스에서 2나노미터(nm) 파운드리 공정 수율의 조기 안정화와 고대역폭메모리(HBM) 매출 3배 확대, 낸드플래시 분기 연속 100% 가격 인상이라는 세 축의 반격 전략을 공개했다. 사진=삼성전자

HBM(고대역폭 메모리)이 끝나면 무엇이 올라오느냐는 질문 자체가 이미 낡은 프레임이라는 지적이 나오고 있다. AI 반도체 경쟁이 단순히 더 빠른 메모리 부품을 찾는 단계를 넘어, 메모리와 연산 장치의 구조 자체를 통째로 뜯어고치는 설계의 전복 단계로 진입했기 때문이다.

미국의 반도체 전문 매체인 위볼버(Wevolver)가 지난 1월 게재한 ‘메모리를 넘어선 연산: 차세대 AI 가속기를 위한 새로운 아키텍처(Beyond HBM: New Architectures for Next-Generation AI Accelerators)’라는 제목의 아티클에서 전한 바에 의하면, 이러한 변화는 이미 글로벌 빅테크 기업들의 내부 기술 로드맵(단계별 이행안)에서 사활을 건 핵심 과제로 다뤄지고 있다. 엔비디아, AMD, 인텔 등은 HBM을 버리는 것이 아니라, HBM이 중심에서 밀려날 수밖에 없는 근본적인 구조 개편에 착수했다.

인류가 직면한 거대한 벽... 데이터 이동의 저주

AI 연산의 진짜 적은 메모리의 용량이나 개별 속도가 아니라 데이터 이동 비용이다. 프로세서(데이터를 처리하는 반도체 칩)와 메모리 사이에서 데이터를 주고받을 때 발생하는 전력 소모와 지연 시간(명령 후 결과가 나올 때까지의 대기 시간)이 성능 향상을 가로막는 거대한 벽이 되었기 때문이다. HBM은 데이터를 주고받는 통로를 넓혀 이 문제를 잠시 완화했을 뿐, 데이터를 옮겨야 한다는 근본적인 물리적 한계는 해결하지 못했다. 이에 따라 업계는 데이터를 아예 이동시키지 않는 파괴적 혁신으로 눈을 돌리고 있다.

첫 번째 축, 메모리가 직접 계산하는 컴퓨트 인 메모리

가장 혁명적인 변화는 메모리 내부에서 직접 연산을 수행하는 구조다. 컴퓨트 인 메모리(Compute-in-Memory, 데이터를 꺼내지 않고 메모리 안에서 직접 계산하는 기술)는 데이터를 외부 프로세서로 전송하지 않고 그 자리에서 즉시 처리한다. 이 방식이 표준이 되면 데이터 이동량이 획기적으로 줄어들어 전력 효율이 수십 배 개선되고 AI 추론(학습된 모델로 결과를 도출하는 과정) 속도도 비약적으로 상승한다. 이는 HBM의 보조 역할을 넘어 메모리의 존재 이유를 다시 정의하는 기술이다.

두 번째 축, 칩 안에 메모리를 가두는 온칩 캐시 확장

또 다른 전략은 메모리를 프로세서 칩 내부로 완전히 통합하는 것이다. 온칩 캐시(칩 내부에 위치한 초고속 임시 저장소)는 과거 보조적인 역할이었으나, 최근에는 그 용량을 기하급수적으로 키워 메인 메모리 역할을 넘보고 있다. 연산 장치와 메모리 사이의 거리를 제로에 가깝게 줄임으로써 외부 메모리인 HBM에 대한 의존도를 낮추고, 결과적으로 HBM을 주연이 아닌 백업(예비용 저장소) 용도로 재배치하는 흐름이 나타나고 있다.

세 번째 축, 전기를 빛으로 바꾸는 실리콘 포토닉스

실리콘 포토닉스(전기 신호를 빛 신호로 변환해 데이터를 전송하는 기술)는 데이터 이동의 매개체를 전기가 아닌 빛으로 바꾸는 혁신이다. 인텔을 비롯한 선두 기업들은 이 기술을 데이터센터 전체를 하나로 묶는 핵심 연결 고리로 보고 있다. 빛의 속도로 데이터를 주고받게 되면 칩과 메모리, 서버 간의 거리는 의미가 없어지며 전 지구적 규모의 통합 시스템이 구축된다. 이때 메모리 병목 현상(데이터가 한꺼번에 몰려 처리가 지연되는 현상)은 부품의 문제가 아니라 네트워크 설계의 문제로 치환된다.

승부처는 단일 부품이 아닌 통합 구조의 장악

전문가들은 특정 기술 하나가 HBM을 단번에 대체하기보다는 위 세 가지 핵심 기술이 복합적으로 얽힌 새로운 생태계가 형성될 것으로 보고 있다. 컴퓨트 인 메모리와 확장된 온칩 캐시, 그리고 실리콘 포토닉스가 하나로 결합된 형태가 차세대 AI 인프라(기반 시설)의 표준이 될 가능성이 크다. 이 과정에서 현재의 주인공인 HBM은 고성능 연산의 중심에서 내려와 대용량 데이터를 저장하는 보조적인 역할로 밀려날 전망이다.

HBM 다음이 아니라 HBM 이후 구조의 시대

현재의 변화는 단순한 하드웨어 부품 경쟁이 아니라 아키텍처(하드웨어와 소프트웨어가 결합된 설계 방식) 경쟁이다. 더 빠른 메모리 칩을 만드는 제조 실력보다 데이터 이동 자체를 최소화하거나 없애버리는 설계 능력이 패권을 결정한다. 이 흐름에서 뒤처질 경우 아무리 뛰어난 제조 능력을 갖췄더라도 글로벌 AI 플랫폼 경쟁에서 부속품 공급처로 전락할 수 있다는 우려가 깊어지고 있다.

이미 시작된 소리 없는 권력 이동

표면적으로는 HBM 공급량을 늘리려는 전쟁이 치열해 보이지만, 그 이면에서는 연산과 메모리의 경계를 허무는 거대한 권력 이동이 진행 중이다. 칩과 네트워크가 통합되고 데이터 이동이라는 개념 자체가 역사 속으로 사라지고 있다. 결국 HBM 이후의 미래에 대한 해답은 특정 제품의 이름이 아니라 인류가 AI를 처리하는 방식 자체를 바꾸는 구조적 대전환에 있다.

이교관 글로벌이코노믹 기자 haedang@g-enews.com