‘딥시크’ 잡는 괴물 칩 등장… 엔비디아 GB300, 추론 지연시간 58% 줄였다

최근 전 세계 AI 시장을 뒤흔든 중국 딥시크의 공습에도 불구하고, 이를 구동하는 하드웨어 패권은 여전히 엔비디아의 손에 있음이 실증적 데이터로 증명됐다. 성능과 가성비를 앞세운 오픈 소스 모델이 확산될수록 역설적으로 엔비디아의 최첨단 인프라에 대한 의존도는 더욱 심화할 것으로 보인다.

대형 모델 시스템 조직(LMSYS)이 지난 21일(현지시각) 공개한 벤치마크 결과에 따르면, 엔비디아의 차세대 라인업인 '블랙웰 울트라(Blackwell Ultra) GB300 NVL72'는 장기 컨텍스트(Long-context) 추론 작업에서 기존 GB200 대비 최대 1.53배의 성능 향상을 기록했다. 특히 실시간 응답 속도를 결정짓는 지연시간 부문에서 1.58배의 개선을 이루어내며, 복잡한 업무를 스스로 처리하는 '에이전트 AI' 시대의 핵심 병기임을 입증했다.




이번 결과에서 가장 주목할 부분은 소프트웨어 보정 기술인 다중 토큰 예측(MTP) 없이도 압도적인 성능을 냈다는 점이다. 기존 GB200의 경우 MTP를 적용해야만 성능이 169.1 TPS까지 올라가며 부족한 하드웨어 역량을 보완했다. 반면 GB300은 보정 기법 없이도 226.2 TPS를 기록하며 하드웨어 자체의 설계 완성도를 과시했다.
반도체 업계에서는 이를 GB300에 탑재된 메모리 대역폭 확장과 연산 엔진 최적화가 이룬 결실로 풀이한다. 특히 긴 문맥을 처리할 때 발생하는 VRAM(비디오램) 부하를 해결하기 위해 프롬프트 처리(프리필)와 토큰 생성(디코드) 단계를 분리하는 ‘PD 디스애그리게이션’ 기술을 통합함으로써 처리 효율을 극대화했다.


엔비디아의 하드웨어 고도화는 국내 반도체 기업들에게 단순한 호재를 넘어선 ‘실적 방어막’이 될 것으로 보인다. GB300과 같은 울트라급 제품군은 5세대 고대역폭메모리(HBM3E) 12단 제품과 차세대 HBM4의 탑재량을 기존보다 비약적으로 늘려야 하기 때문이다.

금융권 안팎에서는 딥시크와 같은 초거대 모델의 확산이 오히려 엔비디아의 고성능 칩 수요를 자극하는 ‘역설적 수혜’를 낳고 있다는 분석이 우세하다. 증권가에서는 엔비디아가 에이전트 AI 시장의 표준을 선점함에 따라 삼성전자와 SK하이닉스의 HBM 공급 물량이 내년에도 ‘완판’ 행진을 이어가며 강력한 하방 지지선을 형성할 것으로 보고 있다.

다만 일각에서는 GB300 배포에 따른 초기 투자 비용 상승이 기업들의 총소유비용(TCO) 부담으로 작용할 수 있다는 신중론도 제기된다. 업계 관계자는 “하이퍼스케일러들이 추론 속도와 사용자 수용 능력에서 압도적인 GB300을 선택할 수밖에 없는 상황”이라며 “결국 성능 경쟁에서 뒤처지지 않으려는 기업들의 ‘엔비디아 쏠림’은 당분간 계속될 것”이라고 말했다.

박정한 글로벌이코노믹 기자 park@g-enews.com