빅테크 'AI 무제한 투자 시대' 종료… 비용 폭탄에 AI 배급제 돌입

미국 실리콘밸리를 중심으로 불어닥친 인공지능(AI) 열풍이 비용 폭탄이라는 현실의 벽에 부딪혔다. 거대언어모델(LLM)을 도입한 글로벌 기업들이 천문학적인 컴퓨팅 비용을 감당하지 못해 직원들의 AI 사용을 제한하거나 저렴한 자체 도구로 선회하기 시작했다.

월스트리트저널(WSJ)은 지난달 28일(현지시각) 기업들의 AI 연산 비용이 폭등하면서 우버, 메타, 마이크로소프트, 세일즈포스 등 주요 기술 기업들이 AI 배급제에 돌입했다고 보도했다. 그동안 보조금과 무료 체계에 기반했던 AI 인프라가 유료화 및 실사용 단계로 급격히 전환되면서 비용이 현실화했고, 이에 따라 무제한 실험의 시대가 끝나고 철저한 수익성 검증(ROI) 국면으로 전환했다는 진단이 나온다.


AI 모델이 데이터를 처리하는 기본 단위인 '토큰(Token)' 사용량이 급증하면서 기업들의 재정 부담은 임계점에 도달했다.
구글이 최근 연례 개발자 행사(I/O 2026)에서 발표한 자체 추산에 따르면, 현재 구글의 모든 플랫폼에서 처리하는 월간 토큰 수는 3200조 개에 달하며 이는 지난해보다 7배 이상 늘어난 수치다. 문제는 사용량 기반 요금제가 정착되면서 단순한 잡담이나 기초적인 업무에도 고비용 최고급 모델을 남용하는 일종의 '토큰맥싱(Tokenmaxxing·토큰 남용)' 현상이 확산했다는 점이다. 마탄 그린버그 팩토리 최고경영자(CEO)는 "일부 금융사 직원들이 간단한 질문에 아인슈타인급 인재를 고용하는 격으로 매달 수십만 달러를 낭비했다"고 꼬집었다.

실제로 우버는 자율형 AI 에이전트 도입 과정에서 올해 연간 예산을 지난 3월 만에 전액 소진했다. 이에 따라 마이크로소프트는 직원들의 앤스로픽 사 거대언어모델(클로드) 사용 권한을 제한하고 내부 코딩 조작기로 대체했으며, 세일즈포스도 토큰 소비가 실제 매출로 이어지는지 추적하는 통제 시스템을 구축했다. 앤드루 보스워스 메타 최고기술책임자(CTO)는 내부 통신문에서 "맹목적인 AI 사용은 성장을 의미하지 않는다"며 "단순한 토큰 사용량은 성과의 지표가 될 수 없다"고 경고했다.


기업들이 AI 지출을 통제하기 시작하면서 올해 기업공개(IPO)를 앞둔 오픈AI와 앤스로픽 등 초대형 AI 스타트업들의 몸값 거품론도 고개를 들고 있다. 앤스로픽이 최근 약 650억 달러 (약 98조 3800억 원)규모의 투자 유치에 성공하며 수백억 달러대 기업가치를 인정받았으나, 시장의 시선은 점차 냉정해지고 있다.

업계 조사에 따르면, 최고급 AI 코딩 도구에 투입한 비용 중 실제 상용화 제품으로 연결된 비율은 20% 미만에 그친 것으로 나타났다. 나머지 80% 이상의 비용은 디버깅과 코드 재수정에 소비되어 AI가 장담했던 생산성 혁신의 실효성에 의문이 제기된다.

이러한 빅테크의 비용 절감 움직임은 한국의 핵심 먹거리인 고대역폭메모리(HBM) 및 반도체 공급망으로 불똥이 튈 가능성이 크다. 엔비디아의 그래픽처리장치(GPU)와 SK하이닉스·삼성전자의 HBM 수요를 떠받치던 빅테크의 설비투자(CAPEX) 속도가 조절될 수 있기 때문이다. 특히 인프라 구축 중심의 '학습(Training)' 단계에서 실제 서비스 운영인 '추론(Inference)' 단계로 AI 연산 비중이 대거 이동하고 있어, 기존 고성능 칩 일변도의 투자 구도가 비용 효율적인 맞춤형 반도체(ASIC) 도입으로 빠르게 다변화할 것이라는 분석이 지배적이다.

비용 통제를 단순한 후퇴가 아닌 AI 대중화의 도약대로 보는 낙관론도 팽팽하다.

자산운용사 프라임캐피털파이낸셜의 윌 맥고프 최고투자책임자(CIO)는 "거대 기업들도 이제 막 효율적인 활용법을 찾아가는 초기 단계"라며 시장 확대를 확신했다. 구글과 오픈AI는 연산 효율성을 높여 토큰 단가를 대폭 낮춘 경량화 모델을 잇달아 출시하고 있으며, 기업들은 과업의 경중에 따라 인프라를 분배하는 지능형 분류 체계를 내재화하기 시작했다.

실제로 앤스로픽 측은 자사 모델을 고도화해 적용한 결과 기존에 7달이 걸리던 복잡한 데이터 작업을 2주 미만으로 단축하는 등 실질적인 생산성 지표 향상을 입증했다. 비용 다이어트를 거친 AI가 거품을 걷어내고 실질적인 기업 이익으로 안착할 것이라는 분석이다. 결국 AI의 경쟁력은 모델 성능이 아니라 ‘단위 비용당 생산성’으로 재정의되고 있다.


AI 산업의 패러다임이 '기술 과시'에서 '비용 통제'로 이동함에 따라 국내 투자자와 기업들은 공급망 내부 지각변동을 예의주시해야 한다. 향후 시장 성패를 가를 핵심 지표는 세 가지다.

첫째, 빅테크 기업의 분기별 설비투자(CAPEX) 추이를 지켜봐야 한다.: 마이크로소프트와 메타 등의 인프라 지출 둔화 여부가 AI 붐 지속 여부를 가름할 관건이 될 수 있다.

둘째, AI 연산 내 추론(Inference) 비중의 확대 여부다. 이는 인프라 비용 구조의 핵심이자 HBM·ASIC 투자 방향의 풍향계가 될 수 있다.

셋째, 국내 반도체 기업의 HBM 수주 다변화도 중요한 사안이다. 특정 빅테크 의존도를 낮추고 소형 모델 맞춤형 메모리 시장 선점 여부를 확인할 수 있다.

정보기술 업계 전문가들은 빅테크의 AI 배급제가 시장의 종말이 아닌 성숙기로 접어드는 건전한 조정 과정이라고 진단한다. 앞으로는 막대한 운영비를 감당할 수 있는 비즈니스 모델을 증명하는 기업만이 생존하는 냉혹한 주가 차별화 장세가 펼쳐질 것이다.


김주원 글로벌이코노믹 기자 park@g-enews.com