AI 예산 30% ‘메모리’가 삼켰다… 엔비디아 ‘반값 특권’에 공급망 격변

데이터센터 설비투자 중 메모리 비중 30% 폭증… 2년 만에 4배 ‘역전’
CUDA 생태계 기반 선구매 구조… HBM4 저가 선점, 후발주자 ‘비용 독박’
미스트랄 AI–삼성전자 직거래 협상… GPU 중심 질서 균열

고대역폭메모리(HBM) 가격이 급등하며 데이터센터 비용 구조를 뒤흔드는 가운데, 시장 지배자인 엔비디아가 ‘공급망 상층 특권’을 통해 원가를 구조적으로 낮추고 있다. 이미지=제미나이3

왜 2026년 인공지능(AI) 시장에서는 천문학적 투자를 쏟아붓고도 기업별 수익성이 극명하게 갈릴까. 고대역폭메모리(HBM) 가격이 급등하며 데이터센터 비용 구조를 뒤흔드는 가운데, 시장 지배자인 엔비디아가 ‘공급망 상층 특권’을 통해 원가를 구조적으로 낮추고 있다는 분석이 나온다. 이에 맞서 유럽의 미스트랄 AI 등은 GPU 설계사를 거치지 않고 메모리 제조사와 직접 연결되는 새로운 조달 전략에 나서며 반도체 공급망 판 자체가 흔들리고 있다.

데이터센터 예산 30%가 메모리… “GPU보다 무서운 비용”

반도체 분석기관 세미애널리시스에 따르면 2026년 하이퍼스케일러(대규모 데이터센터 운영 기업)의 설비투자(CapEx)에서 메모리(DRAM·HBM)가 차지하는 비중은 30%에 달할 전망이다. 2024년 약 8%에서 불과 2년 만에 네 배 가까이 치솟은 수치다.

과거 데이터센터에서 메모리는 10% 미만의 보조 부품에 그쳤지만, AI 시대에는 GPU 다음으로 큰 비용 항목이자 수익성을 좌우하는 핵심 변수로 부상했다. 특히 초거대 모델 확산으로 대역폭 요구가 급증하면서, 고가의 HBM 채택이 사실상 필수가 된 것이 결정적이다.

업계 관계자는 “이제 AI 서버는 GPU 성능보다 메모리를 얼마나 확보하느냐가 수익성을 좌우하는 구조로 바뀌고 있다”고 말했다.

‘엔비디아 특권’의 실체… 가격은 시장이 아니라 계약이 만든다

이 같은 비용 구조 변화의 중심에는 이른바 ‘엔비디아 특권’이 있다. NVIDIA는 단순한 기술 우위를 넘어, 다음과 같은 구조적 요인으로 경쟁사 대비 압도적인 가격 우위를 확보했다.

첫째, 수요 집중과 선구매력이다. CUDA 생태계를 기반으로 AI 수요가 엔비디아로 몰리면서, 1~2년치 물량을 선확보하는 장기 계약 구조가 정착됐다. 이는 곧 가격 협상력으로 직결된다.

둘째, 패키징 종속성이다. HBM은 범용 메모리가 아니라 GPU와 설계 단계부터 결합되는 ‘코디자인(Co-design)’ 부품이다. 이 때문에 엔비디아의 주문은 곧 메모리 제조사의 생산 계획이 되며, 사실상 가격 기준선 역할을 한다.

셋째, 공정 우선순위 선점이다. 삼성전자, SK 하이닉스, 마이크론 등 주요 제조사의 최신 공정(HBM4·DDR5) 물량을 선점하면서 경쟁사들은 남은 물량을 높은 시가에 확보할 수밖에 없는 구조가 형성됐다.

이 결과 AMD 등 후발주자는 동일한 성능의 AI 인프라를 구축하고도 더 높은 원가를 부담하는 ‘비용 역차별’에 직면하고 있다.

“GPU 건너뛴다”… 미스트랄–삼성 ‘직결 모델’ 등장

이 같은 구조적 불균형에 대응해 AI 기업들은 공급망 자체를 재설계하기 시작했다. 대표 사례가 Mistral AI의 행보다.

지난 5일(현지시각) IT 전문 매체 하드웨어(Hardware.com.br)와 테크노베즈(Technobezz) 등의 보도에 따르면, 인공지능 기업들은 이제 반도체 유통망을 거치지 않고 삼성전자 등 제조사와 직접 협상 테이블에 앉으며 생존을 위한 공급망 재편에 나서고 있다.

아서 멘슈 CEO는 최근 삼성전자 화성 캠퍼스를 방문해 고성능 메모리의 직접 조달 방안을 논의했다. 이는 기존처럼 GPU 기업을 중심으로 한 공급망을 거치지 않고, 메모리 제조사와 직접 연결되는 ‘직결 모델’이다.

특히 이번 협상은 엠마누엘 마크롱 대통령 방한 일정과 맞물리며 국가 전략 차원으로 격상됐다. 미스트랄은 자사 LLM ‘미스트랄 라지’의 운영 비용을 낮추기 위해 맞춤형 메모리 확보를 최우선 과제로 설정한 것으로 전해졌다.

업계는 이를 두고 “GPU 중심 가치사슬이 ‘AI 기업–메모리 기업’ 직결 구조로 이동하는 초기 신호”라고 평가한다.

삼성·SK, ‘부품사’에서 ‘게임 체인저’로

이 변화는 메모리 기업의 위상을 근본적으로 끌어올리고 있다. 시장은 현재 SK 하이닉스의 HBM 기술 선도와 삼성전자의 고객 다변화 전략이 맞서는 양강 구도로 재편되는 양상이다.

특히 삼성전자는 미스트랄과 같은 신규 고객을 직접 확보하며 특정 GPU 기업에 대한 의존도를 낮추고 협상력을 강화하고 있다. 반면 SK하이닉스는 HBM 시장 지배력을 바탕으로 AI 메모리 표준을 주도하는 전략을 이어가고 있다.

한편 AMD 역시 메모리 공급망 다변화와 패키징 내재화를 병행하며 엔비디아 독주에 대응하고 있다.

“AI 시대 승자는 GPU가 아니라 메모리 확보자”

2026년 이후 AI 산업의 승패는 알고리즘이나 연산 성능을 넘어, 메모리 공급망을 얼마나 효율적으로 통제하느냐에 달려 있다는 분석이 힘을 얻고 있다.

과거 ‘GPU 성능 경쟁’이 핵심이었다면, 이제는 메모리 확보를 통한 비용 최적화 경쟁으로 패러다임이 이동하고 있는 것이다.

시장에서는 향후 주요 관전 포인트로 ▲데이터센터 투자 내 메모리 비중 추이 ▲HBM 직거래 계약 확대 여부 ▲맞춤형 메모리 양산 속도 등을 꼽는다.

업계 관계자는 “AI 산업의 진짜 승자는 가장 빠른 칩을 만든 기업이 아니라, 가장 싸고 안정적으로 메모리를 확보한 기업이 될 것”이라고 말했다.

김주원 글로벌이코노믹 기자 park@g-enews.com