AI 반도체 대전환… 삼성·SK하이닉스, 'HBM·CXL·eSSD' 3종 세트로 승부

인공지능(AI) 산업이 거대언어모델(LLM)을 학습시키는 '훈련의 시대'를 넘어, 실생활에서 서비스를 구현하는 '추론의 시대'로 빠르게 진입하며 거대한 지각변동을 예고하고 있다.

지난 3년간 글로벌 빅테크 기업들이 더 똑똑한 AI 모델을 만들기 위해 그래픽처리장치(GPU) 확보에 사활을 걸었다면, 이제는 구축된 AI를 얼마나 저렴하고 효율적으로 서비스하느냐가 생존의 열쇠가 됐다.

이에 따라 반도체 시장의 주도권이 범용 GPU에서 특정 용도에 최적화한 주문형 반도체(ASIC)와 차세대 메모리 기술인 CXL(컴퓨트 익스프레스 링크)로 이동하고 있다. CXL은 CPU, GPU, 메모리, 가속기 등 다양한 컴퓨팅 부품을 빠르고 지연 없이 연결하기 위한 차세대 연결 기술로, 데이터 전송 효율성과 메모리 공유 기능을 크게 확장해 기존의 메모리 병목 현상을 줄이고, 여러 프로세서가 동일한 메모리 공간을 함께 쓸 수 있도록 돕는다.

전력 공급망 또한 중앙 집중형에서 분산형으로 재편되는 등 산업 지형도가 급변하고 있다.

우리가 막 통과한 1단계 ‘훈련의 시대’는 AI라는 거대한 공장을 짓는 시기였다. 챗GPT와 같은 LLM을 구축하기 위해 수조 개의 매개변수(Parameter)를 학습시키는 것이 지상 과제였다. 이때 가장 큰 병목(Bottleneck·지체 현상)은 방대한 데이터를 처리할 ‘컴퓨팅 파워’와 이를 감당할 ‘전력’이었다.

엔비디아의 H100, B200 등 고성능 GPU와 이를 뒷받침하는 SK하이닉스·삼성전자의 고대역폭메모리(HBM)가 품귀 현상을 빚으며 시장을 주도한 배경이다. 구글, 아마존, 마이크로소프트 등 빅테크 기업들은 막대한 전력을 소모하는 하이퍼스케일 데이터센터 구축에 천문학적인 자금을 쏟아부었다.

칩의 성능을 극대화하기 위해 여러 개의 칩을 하나처럼 연결하는 TSMC의 ‘CoWoS’ 등 첨단 패키징(AVP) 기술이 핵심 경쟁력이었다.


2026년 현재, 산업은 2단계인 ‘추론의 시대’로 무게중심을 옮기고 있다. 텍스트를 넘어 이미지, 영상까지 이해하는 ‘거대 멀티모달 모델(LMM)’이 확산하면서, 훈련된 모델을 실시간 서비스에 활용하는 ‘추론’ 수요가 폭발하고 있다.
이 단계의 핵심은 ‘가성비’와 ‘속도’다. 학습보다 발생 빈도가 훨씬 높은 추론 영역에서는 값비싼 범용 GPU보다 전력 소모가 적고 특정 연산에 최적화된 주문형 반도체(ASIC)가 각광받는다. 구글의 TPU, 아마존의 트레이니엄 등 빅테크의 자체 칩 개발 경쟁이 가속화되는 이유다.

데이터의 이동 속도인 ‘네트워크’와 저장 공간인 ‘스토리지’가 새로운 병목으로 떠오르면서, 아리스타 네트웍스 등 초고속 네트워크 장비 기업과 대용량 기업용 SSD(eSSD) 제조사의 몸값이 치솟고 있다. 아울러 데이터센터의 부하를 줄이기 위해 데이터 처리를 국소 지역으로 분산시키는 ‘에지(Edge) 데이터센터’가 핵심 인프라로 자리 잡았다. 이에 따라 안정적인 전력을 공급하는 가스터빈과 소형모듈원전(SMR) 등 차세대 에너지 솔루션이 필수 요소로 결합하고 있다.


미래 AI는 단순한 답변을 넘어 인간 대신 행동하는 '거대 행동 모델(LAM)'로 진화한다. AI가 스마트폰, PC, 자동차 등 모든 기기에 탑재되는 '온디바이스(On-device)' 형태가 보편화되면서, 현장에서 즉시 전력을 생산하고 소비하는 '마이크로 데이터센터' 개념이 등장할 전망이다.

이러한 산업 사이클 변화 속에서 한국 반도체 기업들이 주목해야 할 키워드는 바로 '메모리의 계층 분화'다.

왜 메모리를 나눠 써야 하나. AI 모델이 복잡해질수록 필요한 데이터량이 급증한다. 하지만 모든 데이터를 가장 빠르고 비싼 메모리인 HBM에만 저장할 수는 없다. 마치 집에서 자주 쓰는 물건은 손 닿는 곳에, 가끔 쓰는 물건은 창고에 두는 것처럼, 데이터도 용도에 따라 다른 곳에 나눠 저장해야 효율적이다.

구체적으로 ▲1초에 수만 번 처리해야 하는 초고속 데이터는 HBM에 ▲용량이 크지만 속도가 조금 느려도 되는 데이터는 CXL에 ▲자주 쓰지 않지만 보관해야 하는 대용량 데이터는 eSSD에 나눠 담는다. 이런 '계층화 기술'이 시스템 효율의 핵심으로 떠올랐다.

삼성전자와 SK하이닉스는 이 분야에서 독보적인 경쟁력을 갖췄다. HBM4를 통해 추론 성능을 극대화하는 동시에, CXL 기술로 서버당 메모리 용량을 획기적으로 늘려 GPU 의존도를 낮추는 솔루션을 제시하고 있다. 이는 단순히 부품을 공급하는 것을 넘어, 고객사의 시스템 비용(TCO)을 낮춰주는 '솔루션 파트너'로 도약함을 의미한다.

반도체 업계 관계자는 "이제 AI 시장은 '누가 더 빠른 칩을 만드느냐'에서 '누가 더 효율적인 시스템을 구축하느냐'로 경쟁의 판도가 바뀌었다"며 "HBM과 CXL, eSSD를 아우르는 한국 기업들의 제품군 다각화 전략이 2026년 이후 실적 급증의 발판이 될 것"이라고 분석했다.


삼성전자와 SK하이닉스는 CXL 기술에서도 글로벌 선두주자다. CXL은 서버에 장착할 수 있는 메모리 용량을 기존 대비 10배 이상 늘릴 수 있어 'HBM 다음 세대 핵심 기술'로 꼽힌다.

삼성전자는 2021년 업계 최초로 CXL 기반 D램을 개발한 뒤 지난해 국립전파연구원의 전자파 적합성 평가를 통과하며 상용화 문턱을 넘었다. 2026년 상반기 CXL 3.0을 지원하는 CMM-D(CXL 메모리 모듈-D램)를 선보이고, 2027년에는 D램과 낸드를 동시에 탑재한 하이브리드 제품인 CMM-H를 출시할 계획이다. CMM-H는 정전 시에도 데이터를 보호할 수 있는 '전원 내장형' 버전도 준비 중이다.

SK하이닉스는 지난해 4월 CMM-DDR5 고객 인증을 완료했다. 이 제품은 기존 DDR5 D램보다 데이터 전송 속도는 50% 빠르고, 용량은 2배 많다. 특히 SK하이닉스는 중국산 CXL 컨트롤러를 쓰던 기존 방식에서 벗어나, 2024년 11월 TSMC와 손잡고 자체 컨트롤러 개발에 나섰다. 407억 원 규모의 이 계약은 2026년 중반 결실을 맺을 전망이다.

반도체 업계 관계자는 "CXL은 중국이 따라잡기 매우 어려운 기술"이라며 "기존 D램 제조기술에 더해 소프트웨어와 하드웨어를 고도로 결합해야 하기 때문에 한국 기업들의 기술 격차가 당분간 유지될 것"이라고 전망한다.

AI 데이터센터의 '저장창고'인 eSSD 시장도 급성장하고 있다. AI가 생성한 방대한 데이터를 보관하는 대용량 기업용 eSSD 시장도 올해 본격 성장기에 접어들었다. 시장조사업체 트렌드포스에 따르면 2025년 2분기부터 시작된 eSSD 가격 급등과 공급 부족 현상은 2026년 현재까지도 고성능 추론 시장의 확대로 인해 지속되고 있다.

삼성전자는 지난해 8월 290단 QLC(쿼드 레벨 셀) 9세대 V낸드를 업계 최초로 양산하며 eSSD 시장 점유율 1위(37.4%)를 지키고 있다. 2026년 하반기에는 430단 10세대 V낸드를 출시해 용량과 속도를 한층 끌어올린다는 계획이다.

SK하이닉스는 2024년 9월 238단 4D 낸드 기반 서버용 SSD 'PEB110'을 공개했다. SK하이닉스는 2025년 2분기 실적발표에서 QLC 낸드 기반 고용량 eSSD 판매 확대를 통해 시장 경쟁력을 강화해 나갈 계획이라고 공개했다.

아울러 지난해 8월에는 321단 2Tb(테라비트) QLC낸드 양산에 돌입한다고 밝힌 바 있다. SK하이닉스는 우선 PC용 SSD에 321단 낸드를 적용한 후 데이터센터용 eSSD와 스마트폰용 UFS 제품으로 적용 영역을 확대해 나간다는 전략이다.

시장조사업체 옴디아는 2026년 글로벌 D램 시장 규모가 1700억 달러(약 248조 원)로 전년 대비 70% 성장할 것으로 전망했다. 이 가운데 HBM과 CXL, eSSD를 모두 생산할 수 있는 기업은 삼성전자와 SK하이닉스뿐이다. 양사는 2026년 각각 사상 최초로 영업이익 100조 원을 돌파할 것이라는 전망이 나오고 있다.

이제 투자자들은 'GPU 만능론'에서 벗어나야 한다. 추론 시장을 뒷받침할 전력 인프라, 고효율 스토리지, 그리고 메모리 계층화 기술이라는 새로운 격전지에서 기회를 포착해야 할 시점이다.


박정한 글로벌이코노믹 기자 park@g-enews.com