AI 추론 시대, 승부처는 HBM 대역폭

2026년 AI 반도체 산업이 변곡점을 지나고 있다. 학습(training)에 쏠렸던 연산 수요가 추론(inference)으로 옮겨가는 중이다. 칩 설계 방향과 데이터센터 구조, 메모리 공급망의 위상이 함께 바뀌고 있다.


AMD 리사 수 최고경영자(CEO)가 2030년 AI 가속기 시장 규모를 1조 4000억 달러(약 2067조 원)로 전망했다. 이 발언은 7월 23일(현지시각) 샌프란시스코 'Advancing AI 2026' 행사에서 나왔다. AMD는 2026년을 기점으로 AI 연산의 60%가 추론에서 발생한다고 분석했다.

병목 지점이 달라진 것이 핵심이다. 학습은 대규모 행렬 연산을 반복한다. 연산 유닛의 처리량이 성능을 좌우한다. 추론은 다르다. 이미 학습한 파라미터를 메모리에서 읽어 토큰을 차례로 만든다. 연산량은 적지만 메모리 접근이 훨씬 잦다.
성능을 가르는 것은 부동소수점 연산 능력(플롭스)이 아니다. 메모리 대역폭과 용량이다. 암산 실력이 같은 수학자 두 명을 떠올리면 된다. 한 명은 좁은 책상에 1차선 복도를 쓴다. 다른 한 명은 운동장만 한 책상에 16차선 고속도로를 쓴다. 계산이 빨라도 자료가 늦게 오면 기다려야 한다. 업계는 이를 메모리 병목(memory bound)이라 부른다.

HBM은 연산 칩 옆에 아파트처럼 쌓아 올린 초고속 메모리다. 용량이 크면 파라미터를 한 번에 올려두고 바로 꺼내 쓴다. 같은 플롭스라도 HBM 용량과 대역폭이 성능과 수익성을 가른다. 서버 한 대가 동시에 몇 명을 감당하느냐가 곧 매출이기 때문이다.

AMD가 양산을 발표한 랙급 시스템 헬리오스(Helios)는 칩당 432GB HBM4를 얹었다. 엔비디아 블랙웰 세대가 연산 유닛 밀도와 전력 효율을 겨냥했다면, 헬리오스는 메모리 쪽을 택했다. 모델 전체를 패키지 메모리에 올려 외부 접근 지연을 줄이는 설계다.


미국 AI 반도체 기업 셀레브라스는 실리콘 웨이퍼를 자르지 않고 통째로 쓰는 추론 칩을 공개했다. 셀레브라스 자체 발표를 보면, 지름 30cm 웨이퍼를 조각내지 않고 하나의 프로세서로 만든다. 웨이퍼를 바둑판처럼 잘라 파는 대신 한 판을 통째로 굽는 방식이다. 회사 발표 기준으로 코어는 90만 개, 크기는 엔비디아 GPU의 58배다.

한국 업스테이지의 솔라 모델 테스트에서 초당 2000개 넘는 토큰을 생성했다. 추론 속도는 기존 대비 15배였다. 이론이 상용 모델에서 재현된 점이 이번 발표의 무게다.
기존 데이터센터는 수천 개 GPU를 네트워크로 묶는다. 칩 사이 통신이 문제다. 신호가 패키지 밖으로 나가는 순간 지연과 전력 소모가 늘어난다. 웨이퍼 스케일은 이 구간을 실리콘 내부 배선으로 바꾼다. 응답 지연이 곧 사용성인 대화형 서비스에서 차이가 크다.

다만 이 구조는 메모리를 칩 안에 두는 방식이다. 외부 HBM 의존도가 낮다. 웨이퍼 스케일이 확산하면 HBM 수요에는 상반된 힘으로 작용할 수 있다.


톰스하드웨어는 23일 앤스로픽의 AI 모델 클로드가 AMD 신형 가속기 MI355·MI450의 환경 구축과 초기 드라이버 세팅을 사람 도움 없이 주말 사이 끝냈다고 보도했다.

새 가속기의 진입장벽은 하드웨어가 아니다. 소프트웨어다. 엔비디아 CUDA의 해자, 다른 업체가 넘기 힘든 소프트웨어 장벽이 그것이다. 새 아키텍처로 모델을 옮기는 작업은 오래 걸린다. 이 비용이 고객의 전환을 막아왔다.

이번 사례를 CUDA 대체로 읽으면 성급하다. 초기 환경 구축과 실전 커널 최적화는 난이도가 다르다. 최적화는 여전히 사람의 몫이다. 그래도 초입 구간의 장벽을 낮춘 것은 분명하다. 장벽이 낮아질수록 하드웨어 선택은 성능과 가격 경쟁에 가까워진다.

월스트리트저널은 지난 21일 AMD가 앤스로픽에 최대 50억 달러(약 7조 3825억 원)를 지분 투자한다고 보도했다. 2027년부터 2GW 규모 MI450 랙 시스템을 공급하는 계약도 함께 맺었다. 칩 공급 계약이자 소프트웨어 생태계 동맹이다.


추론 시대의 성능 지표가 대역폭과 용량으로 옮겨가면 시스템 원가에서 HBM 비중이 올라간다. 헬리오스급 시스템에서 HBM은 부품이 아니라 성능 그 자체다.

공급 구조도 바뀌고 있다. 그동안 HBM 수요는 엔비디아 비중이 높았다. AMD가 앤스로픽을 확보하며 제2 수요처로 올라서면 SK하이닉스와 삼성전자는 고객 편중을 줄일 수 있다. HBM4 협상에서 가격과 물량 조건이 나아질 여지가 생긴다.

리스크도 있다. 서플라이체인다이브는 23일 TSMC가 애리조나에 1000억 달러(약 147조 6500억 원)를 추가 투입한다고 보도했다. 첨단 팹 4곳을 더 지어 미국 내 팹을 12곳으로 늘린다. 미국 내 누적 투자는 2650억 달러(약 391조 2725억 원)가 된다. 첨단 반도체 생산의 무게중심이 미국으로 옮겨가는 신호다.

엔비디아와 브로드컴 공급망이 미국 중심으로 재편되면 HBM 후공정도 근접 생산 요구를 받을 수 있다. 한국 생산 거점 전략을 다시 볼 시점이다.


첫째, HBM 원가 비중을 봐야 한다. 서버 1랙당 HBM 탑재 용량, 가속기 매출 내 HBM 비중, 고객사별 평균판매단가(ASP) 방향이 확인 항목이다. 헬리오스의 432GB가 기준점이다. 경쟁사 랙 시스템이 이를 넘어서는지가 차세대 수요의 상단을 가늠하는 잣대다.

둘째, 2GW를 매출로 바꿔 계산하면 안 된다. 2GW는 설비 용량 기준 공급 계약이다. 확정 매출이 아니다. 실물 인도는 TSMC 2nm 공정 램프업, HBM4 수급, CoWoS-L 패키징 캐파에 달렸다. 하나만 밀려도 2027년 일정은 늦춰진다. 분기별 실제 출하량과 랙당 HBM 탑재량을 따라가야 한다.

셋째, 미국 후공정 투자 압력을 봐야 한다. TSMC 애리조나 확장이 HBM 패키징 현지화 요구로 이어지면 단기 자본지출이 늘어난다. 그것이 고객사와의 동맹과 가격 협상력으로 이어지는지 함께 따져야 한다.


김주원 글로벌이코노믹 기자 park@g-enews.com