디매트릭스, 3D D램 적층에 차세대 AI 추론 메모리 경쟁 격화

미국 인공지능(AI) 반도체 스타트업 디매트릭스가 26일(현지시각) 핫칩스 2026 학술대회에서 주문형 D램을 직접 수직 적층해 카드 한 장당 초당 100테라바이트(TB/s) 전송 속도를 내는 가속기 '라프터'를 발표했다.

정보기술(IT) 전문 매체 톰스하드웨어는 이날 해당 칩이 TSMC 4나노미터(㎚) 연산 칩 하부에 D램을 36마이크론(㎛) 간격으로 맞붙여 고대역폭 메모리(HBM) 대비 전송 효율을 크게 개선했다고 보도했다. 중간 연결 기판을 거치지 않고 연산 장치와 메모리를 직접 쌓아 올리는 3차원 인메모리 구조의 실증은 HBM 중심 생태계를 주도해 온 글로벌 메모리 시장에 새로운 기술적 비교군을 제시한다.


라프터는 생성형 AI의 서비스 단계(추론)에서 대량의 데이터를 빠르게 처리하도록 설계한 3차원 D램 가속기다. 연산 칩과 맞춤 설계한 D램의 회로 면을 서로 마주 보게 맞붙이는 '페이스 투 페이스' 수직 결합 구조를 도입했다.
접합 부위의 간격은 머리카락 굵기보다 좁은 36마이크론이다. 열이 많이 나는 연산 칩을 맨 위에 두고 냉각판을 직접 얹어 열 배출 효율을 높였다. 아래에 배치한 D램은 데이터를 저장하는 동시에 칩 내부에 뚫은 미세 구멍(실리콘 관통 전극·TSV)을 통해 외부 신호를 연산 칩으로 올려보내는 통로 역할을 맡는다.

수디프 보하 디매트릭스 최고기술책임자는 발표 현장에서 "수직 결합 통로를 통해 1비트(bit) 데이터를 옮길 때 드는 에너지 비용은 0.37피코줄(pJ)"이라고 밝혔다. 이는 차세대 HBM4 베이스 다이로 데이터를 옮길 때 드는 약 2.4피코줄보다 낮은 수치다.

브리티시컬럼비아대학교와 공동 발표한 ISCA 2026 학술 논문 기준 카드당 데이터 처리량은 HBM 기반 구조 대비 약 4.7배로 계산됐다.


라프터의 카드당 D램 저장 용량은 32기가바이트(GB)다. HBM4를 탑재한 가속기 제품군이 카드당 192GB에서 288GB를 제공하는 것과 비교하면 단일 카드 용량은 작은 편이다. 디매트릭스는 서버 랙 하나에 카드 72장을 연결해 총 2.3테라바이트(TB) 용량을 묶는 방식으로 대응한다는 계산을 내놨다.

회사 측 추정에 따르면 2조 8000억 개 매개변수를 가진 AI 모델을 구동할 때 100만 개 단어 문맥 조건에서 사용자당 초당 988개 토큰을 처리할 수 있는 성능이다.
발열에 따른 데이터 손실을 막는 설계도 적용됐다. 반도체 접합부 온도가 105도까지 올라가면 D램의 전하가 빠져나가 데이터 보존 시간이 기존 32밀리초(ms)에서 4밀리초로 줄어든다.

디매트릭스는 메모리 내부 저장 구획(마이크로뱅크)을 잘게 쪼개고 전하를 다시 채워 넣는 재충전 주기를 8배 늘렸다. 이를 통해 재충전 과정에서 생기는 데이터 전송 손실률을 1.37% 수준으로 억제했다.


디매트릭스는 연산 칩 생산을 TSMC에 맡기고 반도체 설계 협력사로 알칩을 선정했으나, 맞춤형 D램을 위탁 생산할 공장은 밝히지 않았다. 누적 4억 5000만 달러(약 6237억 원) 투자를 유치한 스타트업 입장에서 주요 D램 제조사들의 생산 능력이 HBM에 집중된 상황을 뚫고 전용 생산 라인을 배정받기는 쉽지 않다. 카드를 여러 장 묶어 용량을 늘리는 구조 역시 모델 크기가 커질수록 카드와 카드 사이를 연결하는 통신 지연이 발생할 수 있다.

연산 칩과 D램을 직접 맞붙이는 기술은 메모리 제조사들도 연구 중인 분야다. 삼성전자는 이번 핫칩스 행사에서 연산 장치 위에 HBM을 직접 얹어 전력 효율을 70% 개선하는 'zHBM' 개념을 발표했다. 자체 D램 생산 공장을 보유한 삼성전자나 SK하이닉스와 달리 디매트릭스는 외부 제조사에 전적으로 의존해야 하는 구조다.

라프터의 작동 원리와 설계 타당성은 확인됐으나 2027년 출시 계획에 맞춘 실제 양산 물량과 가격은 공개되지 않았다. 독자 메모리 생산 시설이 없는 팹리스 스타트업이 공급망을 안정적으로 확보할 수 있는지가 상용화의 핵심 변수다. 단일 카드의 저용량 한계와 카드 간 병목을 해결하지 못할 경우 대용량 단일 칩을 앞세운 기존 HBM 체제의 시장 영향력이 지속될 가능성이 높다.


김주원 글로벌이코노믹 기자 park@g-enews.com