글로벌 빅테크, 연산 속도 대신 메모리 대역폭에 돈 쏟는 이유

글로벌 컴퓨팅 하드웨어 성능 경쟁의 초점이 연산 장치의 속도에서 데이터 이동을 최적화하는 메모리 계층 구조로 이동했다. IT 전문매체 Wccftech는 20일(현지시각) 인공지능(AI) 프로세서의 연산 능력이 크게 늘었으나 전송 지연과 대역폭 한계가 실제 성능을 가로막는 구조적 병목이 심화되었다고 보도했다.

고성능 두뇌를 뒷받침할 고속 데이터 도로망이 핵심 변수로 부상하면서 고대역폭 메모리(HBM) 공급망을 쥔 한국 반도체 기업들의 시장 영향력이 한층 커질 것이라는 분석이 나온다.


현대 중앙처리장치(CPU)와 그래픽처리장치(GPU)는 눈 깜짝할 사이에 수천 개의 계산을 동시에 처리할 수 있다. 반면 연산 장치에 필요한 명령어나 데이터가 제때 도착하지 않으면 초고속 계산기도 멈춰 서서 기다릴 수밖에 없다.
성능을 가르는 핵심 요인은 데이터를 찾아가는 방식이다. 줄지어 놓인 데이터를 차례대로 읽는 순차 방식은 컴퓨터가 다음 정보를 미리 예측해 가져오므로 속도가 매우 빠르다.

반면 주소를 하나씩 열어봐야 다음 위치를 아는 무작위 접근 방식은 사전 예측이 불가능하다. 데이터를 찾아 헤매는 지연시간이 고스란히 쌓이면서 전체 시스템의 처리 속도를 크게 떨어뜨린다.


반도체 제조사들은 데이터 이동 거리를 줄이기 위해 연산 장치 바로 옆에 붙이는 초고속 임시 기억장치(캐시 메모리)를 적극 늘리고 있다. 연산 코어와 붙어 있는 정적 메모리는 반응 속도가 가장 빠르지만 반도체 면적을 많이 차지하는 단점이 있다.

AMD는 반도체를 아파트처럼 수직으로 쌓아 올리는 3D V-캐시 기술을 적용해 64메가바이트(MB) 용량의 캐시 메모리를 추가 결합했다. 60MB 수준의 자주 쓰는 데이터를 칩 내부에서 바로 처리해 멀리 떨어진 메인 메모리까지 오가는 횟수를 줄였다.

대규모 언어 모델(LLM) 같은 생성형 AI 환경에서는 데이터 병목이 더 심각하다. 70억 개 매개변수를 지닌 AI 모델은 데이터 적재에만 14기가바이트(GB)의 메모리를 소모한다. AMD 인스팅트 MI355X는 288GB 용량의 차세대 HBM3E를 탑재해 초당 8테라바이트(TB)의 데이터를 전송하며 가속기 8개 시스템 기준 총 2.3TB의 메모리 공간을 확보해 데이터 고갈을 막는다.

컴퓨팅 구조가 메모리 중심으로 바뀌면서 삼성전자와 SK하이닉스가 주도하는 HBM 공급망 가치는 더 커질 전망이다. 초당 수 테라바이트의 데이터를 쏟아붓는 고대역폭 메모리는 AI 시장 성장에 맞춰 한국 반도체 산업의 실적을 떠받치는 핵심 축으로 꼽힌다.

수익성을 이어가려면 서로 다른 반도체를 하나로 묶는 첨단 조립(어드밴스드 패키징) 기술력 확보가 필수 과제다. 칩을 얇게 갈아 수직으로 쌓고 평면에 조밀하게 연결하는 공정은 난도가 높아 수율 저하나 단가 상승이 발생하면 납품 경쟁력이 약화될 수 있다는 지적도 나온다.

차세대 컴퓨팅의 본질은 데이터를 무조건 빠르게 나르는 것을 넘어 불필요한 데이터 이동 자체를 줄이는 데 있다. 두뇌 역할을 하는 연산 칩과 기억 장치의 물리적 거리를 사실상 없애는 차세대 패키징 기술이 향후 반도체 패권의 승부처다.


김주원 글로벌이코노믹 기자 park@g-enews.com