안현 SK하이닉스 사장 "새 메모리 계층으로 AI 병목 풀겠다"

“고대역폭메모리(HBM)로 인공지능(AI) 시대를 선도한 것처럼 새로운 메모리 계층을 만들어 성능과 용량의 병목을 해결해 나가겠습니다.”

안현 SK하이닉스 개발총괄(CDO) 사장의 말이다. 그는 14일 서울 삼성동 코엑스에서 열린 '반도체대전(SEDEX) 2026' 기조연설에서 AI 추론(학습을 마친 AI가 실제로 답을 내놓는 과정) 수요가 커지면서 생긴 메모리 병목을 진단하고, 이를 풀기 위한 차세대 메모리 로드맵을 제시하면서 이같이 밝혔다.

안 사장은 AI 추론 시장이 작업 복잡도와 컨텍스트(AI가 한 번에 이해해야 하는 데이터) 길이, 추론 요청량의 세 방향에서 동시에 커지고 있다고 설명했다. 이에 따라 AI가 처리하는 글자 단위인 토큰 사용량도 급증하고 있다. 그는 "세 가지는 더하기가 아니라 곱하기로 토큰 사용량을 늘리고 있다"며 AI 인프라 규모가 2030년에는 2026년의 약 20배로 커질 것으로 내다봤다.

문제는 메모리다. 메모리는 빠르지만 용량이 작은 HBM부터 느리지만 용량이 큰 D램과 SSD까지 층층이 나뉘어 있다. AI가 앞서 처리한 정보를 저장해 두는 KV 캐시가 HBM에 다 담기지 못하면 아래 계층까지 오가야 한다. 이 과정에서 속도가 느려지고 전력 소모가 늘어난다. 안 사장은 "모든 메모리가 성능을 높이면 용량이 줄고, 용량을 높이면 성능이 나빠지는 상황"이라면서 "가장 중요한 병목은 결국 데이터 이동의 병목"이라고 말했다.
해법은 메모리 계층 사이의 빈틈을 새 메모리로 메우는 것이다. 성능 차이가 큰 계층 사이마다 중간단계 메모리를 넣어 데이터가 연산 칩 가까이 머물게 하고, 느린 저장장치까지 오가는 일을 줄이겠다는 구상이다. 먼저 그래픽처리장치(GPU)·신경망처리장치(NPU) 같은 연산 칩 위에 D램을 바로 쌓는 '3D 스택 D램'이다. 칩과 메모리 사이 거리를 줄여 데이터 입출력(I/O) 통로를 기존 HBM보다 수십 배 늘리는 방식이다.

HBM과 D램 사이에는 '고대역폭플래시(HBF)'를 넣는다. 낸드플래시는 전원이 꺼져도 데이터가 남는 저장용 메모리로, D램보다 느리지만 용량을 키우기 쉽다. HBF는 HBM처럼 칩을 수직으로 뚫어 연결하는 실리콘관통전극(TSV) 기술을 이 낸드플래시에 적용한 제품이다. 안 사장은 "대역폭(한 번에 주고받는 데이터 양)은 HBM의 절반 정도로 조금 나빠지지만 용량은 10배 이상 늘릴 수 있다"고 설명했다.

낸드는 쓰기 신뢰성이 약하다는 우려에 대해서는 AI 추론이 읽기 중심이라는 점을 들었다. 그는 "데이터를 읽는 양과 쓰는 양의 비율이 수십만 배에 이른다"면서 "AI 작업이 읽기 중심이어서 충분히 활용할 수 있다"고 말했다. SK하이닉스는 파트너사들과 함께 HBF 표준화를 먼저 추진하고 있다.

고객 맞춤형 '커스텀 HBM'도 키운다. 안 사장은 "표준 HBM과 커스텀 HBM이 함께 가겠지만 장기적으로는 커스텀 쪽이 더 확대될 것"이라고 전망했다. 이 밖에 D램과 SSD 쪽에서도 차세대 메모리·저장장치 기술을 준비하고 있다.

SK하이닉스는 이날 전시장에 최대 규모 부스를 차리고 엔비디아의 차세대 AI 칩 '베라 루빈'과 HBM·HBF 구조 모형, 서버용 D램, 기업용 SSD(eSSD) 등을 선보였다.
안 사장은 연설을 마치며 "메모리가 대한민국 최고의 산업인 만큼 빠른 AI 확산은 절호의 기회"라면서 "국내 여러 기업과 SK하이닉스가 각자의 자리에서 개발하고 협업해 대한민국의 AI 신세계를 만들어 가겠다"고 말했다.


유덕규 글로벌이코노믹 기자 udeok@g-enews.com