[초점] 엔비디아, ‘AI 추론 시대’ 시험대 올라…GPU 제국 흔들리나

인공지능(AI) 산업이 모델 학습 중심에서 실제 서비스 구동 단계인 ‘추론(inference)’ 중심으로 빠르게 이동하면서 엔비디아의 시장 지배력이 새로운 시험대에 올랐다는 분석이 나오고 있다.

엔비디아의 연례 개발자 행사인 GPU 기술 콘퍼런스(GTC)가 16일(이하 현지시각) 미국 캘리포니아주 새너제이에서 개막하는 가운데 이번 행사의 핵심 주제가 AI 모델 학습용 그래픽처리장치(GPU)가 아니라 추론 컴퓨팅이 될 것이라고 월스트리트저널(WSJ)이 이날 보도했다.


지금까지 AI 산업의 핵심은 대형 모델을 학습시키는 과정이었다. 이 과정에서 GPU가 필수적인 역할을 하면서 엔비디아는 AI 컴퓨팅 시장을 사실상 장악했고 세계 최대 상장기업으로까지 성장했다.
하지만 최근 AI 산업은 새로운 국면에 들어섰다. 기업들이 거대한 모델을 만드는 것보다 이미 만들어진 모델을 실제 서비스에 활용해 수익을 창출하는 단계로 이동하고 있기 때문이다.

추론은 AI 모델이 사용자의 질문에 답하거나 작업을 수행하도록 하는 연산을 의미한다.

젠슨 황 엔비디아 최고경영자(CEO)는 이달 4일 열린 투자자 행사에서 “AI가 파일을 사용하고 도구를 활용하는 능력이 커지면서 새로운 전환점이 나타나고 있다”고 말했다.

이른바 ‘에이전트형 AI’로 불리는 이런 기능은 대부분 추론 컴퓨팅에 의존한다.


AI 기업들이 본격적인 수익 창출 단계에 들어가면서 추론 컴퓨팅 수요는 폭발적으로 늘고 있다.
오픈AI와 앤스로픽 등 기업들은 AI 모델이 생성하는 데이터 단위인 ‘토큰(token)’ 생산량이 과거보다 수천배 늘었다고 밝힌 바 있다.

황 CEO는 최근 실적 발표에서 “지금 고객들에게 추론은 곧 매출을 의미한다”며 “토큰이 달러로 환산되는 구조이기 때문에 추론 속도가 빨라질수록 매출도 직접 증가한다”고 말했다.


문제는 엔비디아의 주력 제품이 추론 컴퓨팅에는 상대적으로 불리할 수 있다는 점이다.

엔비디아의 최신 서버 시스템인 ‘그레이스 블랙웰’은 막대한 전력을 소비하고 메모리 용량도 제한적이어서 사용자 질문에 빠르게 답해야 하는 추론 작업에는 효율성이 떨어질 수 있다는 지적이 나온다.

매사추세츠공과대학(MIT) 디지털경제이니셔티브 연구원인 폴 케드로스키 벤처투자자는 “엔비디아는 지금 다소 애매한 시점에 있다”며 “추론 전용 칩을 별도로 만들 필요가 없다고 주장해 왔지만 이제 상황이 달라졌다”고 말했다.

그는 “추론 컴퓨팅은 효율성과 비용 절감이 핵심이기 때문에 엔비디아의 높은 수익률도 압박을 받을 수 있다”고 덧붙였다.


추론 컴퓨팅 시장에서는 새로운 경쟁자들도 빠르게 등장하고 있다.

엔비디아는 지난해 12월 AI 반도체 스타트업 그록(Groq)의 칩 기술을 도입하고 핵심 인력을 영입하는 계약을 체결했다. 계약 규모는 200억 달러(약 29조3000억 원)에 달하는 것으로 전해졌다.

엔비디아는 이번 GTC에서 자사의 차세대 루빈 GPU와 그록 프로세서를 결합한 서버 플랫폼을 공개할 예정이라고 WSJ는 전했다.

한편, 메타플랫폼스는 최근 자사 AI 데이터센터에 엔비디아의 베라 CPU를 대규모로 도입하기로 결정했다. 이는 GPU가 포함되지 않은 엔비디아 AI 시스템이 처음으로 대규모 적용되는 사례다.

반도체 기업 세레브라스 역시 초고속 추론 칩을 앞세워 시장 공략에 나서고 있다. 세레브라스는 최근 아마존웹서비스(AWS)를 신규 고객으로 확보했다고 밝혔다.

세레브라스 최고경영자(CEO) 앤드루 펠드먼은 “추론 영역에서는 CUDA 생태계의 장벽이 거의 없다”며 엔비디아가 경쟁에서 뒤처질 수 있다고 주장했다.


엔비디아는 여전히 추론 시장에서도 경쟁력을 유지할 수 있다고 자신하고 있다.

콜렛 크레스 엔비디아 최고재무책임자(CFO)는 최근 인터뷰에서 “에이전트형 AI 작업이 엔비디아 매출 성장의 중요한 동력이 되고 있다”며 “현재 우리는 추론 시장에서도 왕”이라고 말했다.

AI 산업이 모델 학습 중심에서 실제 서비스 단계로 넘어가면서 엔비디아가 이 새로운 경쟁 환경에서도 지배력을 유지할 수 있을지 시장의 관심이 집중되고 있다.


김현철 글로벌이코노믹 기자 rock@g-enews.com