AI 돈 버는 방식 바뀌었다…거대 모델에서 ‘원가 전쟁’으로

인공지능(AI) 시장의 경쟁 규칙이 근본적으로 바뀌고 있다. 지난 2년간 이어온 거대 모델 중심의 파라미터(매개변수) 덩치 키우기 경쟁은 한계에 직면했다. 기업들이 실제 도입 단계에서 AI 비용을 수십%에서 수배까지 절감하는 구조 전환에 나서면서, 모델 경쟁의 축이 성능에서 원가로 급격히 이동하고 있다.

값비싼 폐쇄형 모델의 독점적 지위가 흔들리고 저렴한 오픈웨이트(개방형 가중치) 모델이 확산함에 따라, 글로벌 반도체와 소프트웨어 밸류체인의 투자 지도 역시 전면적인 재수정이 불가피해졌다.


미국 CNBC는 지난 10일(현지시각) 보도를 통해 AI 시장이 모델 크기 경쟁에서 벗어나 비용, 제어권, 컴퓨팅 자원을 최적화하는 시스템 경쟁으로 진입했다고 전했다.
퍼플렉시티 최고경영자(CEO) 아라빈드 스리니바스는 인터뷰에서 “이제 모델 단독으로는 상품이 될 수 없다”라며 “상황에 맞춰 적절한 모델과 도구를 연결하는 오케스트레이션(조정) 시스템이 핵심”이라고 짚었다.

이 같은 패러다임 전환의 배경에는 기업들의 극심한 ‘AI 비용 피로감’이 자리한다. 폐쇄형 API(응용프로그램 인터페이스)를 사용할 때 발생하는 토큰당 단가 비용은 워크로드와 최적화 수준에 따라 수배에서 수십 배까지 격차가 발생한다.

실제로 우버는 최근 직원용 AI 코딩 도구 예산이 네 달 만에 바닥나자 한 사람 앞에 월 1500달러(약 225만 원) 선으로 지출을 강제 제한한 것으로 알려졌다. 미국 벤처캐피털 벤치마크의 피터 펜턴 파트너는 “앞으로 18~24개월 안에 생성되는 전체 토큰의 90% 이상이 오픈웨이트 모델에서 나올 것”이라며 프런티어 모델 기업들의 마진 저하를 경고했다.

실제 기업 현장에서는 연산 난이도에 따라 오픈 모델과 폐쇄형 모델을 분산 배치하는 '혼합형 전략'이 표준으로 자리 잡았다. 예컨대 동일 업무 처리 시 폐쇄형 API 단가가 1.0달러(정확도 95%), 사내 구축한 오픈웨이트 모델의 추론 단가가 0.6달러(정확도 92%)라고 가정할 때, 오케스트레이션 시스템을 통해 일상 업무의 80%를 오픈 모델로 처리하고 고난도 작업 20%만 폐쇄형으로 라우팅하면 정확도를 유지하면서도 평균 원가를 32% 절감할 수 있다.


기업들은 이제 무조건적인 고성능 모델 채택 대신, 비용과 지연시간(Latency), 그리고 데이터 보안을 함께 최적화하는 시스템으로 선회했다. 오픈소스 모델 구동 플랫폼인 올라마(Ollama)에 따르면, 이미 포춘 500대 기업 다수가 보안성과 통제권을 확보하기 위해 자체 데이터 인근에서 소형 오픈 모델을 먼저 구동하는 방식을 택했다.
이러한 변화 속에서 실질적인 장부상 이익(ROI)을 증명하는 기업이 주가 차별화를 이뤄내고 있다. 알렉스 카프 팔란티어 CEO는 지난 1일 CNBC에 출연해 “미국 기업들은 더 이상 토큰에 비용을 낭비하지 않는다”라며 AI 주권과 데이터 소유권의 중요성을 강조했다.

팔란티어의 2026년 1분기 실적에 따르면, 인공지능 플랫폼(AIP)의 가파른 도입에 힘입어 미국 민간 부문 매출이 지난해 같은 기간보다 133% 폭발적으로 성장했다. 다만 높은 가치평가(밸류에이션) 부담과 매출 성장의 축을 정부에서 민간으로 완전히 옮겨가는 과도기적 위험은 단기적인 주가 변동성 요인으로 지적된다.


오픈 모델 중심으로의 전환은 AI 반도체 시장의 지형을 흔드는 핵심 변수다. 핵심 질문은 하나다. ‘오픈웨이트 확산이 GPU 수요를 줄이는가, 아니면 더 늘리는가?’ 결론부터 말하면 단기적으로는 전체 AI 연산 수요(Q)를 폭발시켜 수요를 늘리지만, 중장기적으로는 개당 판매단가(P)의 하락 압박을 가한다.

오픈 모델은 매개변수가 작아 거대한 학습(Training)용 AI 칩보다 가성비 높은 추론(Inference)용 반도체로도 충분히 구동 가능하기 때문이다. 즉, 더 많이 쓰되 더 싸게 구동하는 구조로 마진이 재배치되는 셈이다.

현재 엔비디아는 가속기 시장 점유율 80% 이상을 수성하며 분기 데이터센터 매출 391억 달러(약 58조 7800억 원)를 기록하는 등 독주를 이어가고 있다. 소프트웨어 생태계 ‘쿠다(CUDA)’를 통한 락인(Lock-in) 효과는 학습 시장에서 여전히 강력하다.

관건은 쿠다의 독점 장벽이 학습 영역을 넘어 추론 영역까지 확장될 수 있느냐에 달려 있다. 추론 시장 비중이 커질수록 대체 반도체의 진입 장벽은 헐거워지기 때문이다.

빅테크들은 이미 엔비디아 의존도를 낮추기 위해 자체 주문형 반도체(ASIC)와 대안 칩 도입에 속도를 내고 있다. 구글은 자체 AI 칩인 TPU 투자를 확대하고 있으며, 아마존웹서비스(AWS) 역시 트레이니움과 인퍼런시아 칩을 전면에 내세웠다.

메타가 AMD와 5년간 최대 600억 달러(약 90조 2000억 원) 규모에 달하는 장기 AI 인프라 공급 계약을 체결하고 차세대 가속기 ‘MI450’ 기반 제품 도입에 나선 점은 빅테크 공급망 다변화의 상징적 사건이다. AMD의 MI300X는 엔비디아 H100 대비 최대 50% 저렴한 가격 경쟁력을 갖추고 있어, 총소유비용(TCO) 절감이 절실한 기업들에 유력한 선택지로 부상했다.

빅테크들의 ASIC 설계 파트너인 브로드컴의 AI 반도체 매출이 지난해 200억 달러(약 30조 원)를 돌파한 점도 이 같은 흐름을 뒷받침한다.


이 같은 패러다임 시프트 환경에서 초과이익을 방어하는 주체는 비용을 구조적으로 낮추는 반도체·시스템 설계자와 고객 데이터 스택을 장악한 플랫폼 기업이다. 투자자는 단순히 독점력이라는 막연한 환상 대신 명확한 효율성 지표와 리스크 요인을 기준으로 포트폴리오를 점검해야 한다.

첫째, 칩과 인프라 부문에서는 엔비디아의 쿠다 생태계가 추론 스택에서도 유지되는지, 소프트웨어 번들 전략이 통하는지가 핵심이다. AMD와 인텔은 대형 고객사의 레퍼런스 확보 속도를 통해 TCO 경쟁력을 입증해야 하며, 브로드컴과 마벨 테크놀로지는 대형 고객사와의 다년 계약을 통한 ASIC 파이프라인의 가시성을 확인해야 한다.

메모리 진영의 경우 학습용 하이엔드 HBM의 공급 과잉 여부를 체크하되, 검색증강생성(RAG)과 벡터 데이터베이스(DB) 중심의 추론 서버 확산으로 수혜를 입는 고용량 범용 DRAM 및 기업용 SSD(eSSD)의 실적 기여도를 분리해 평가해야 한다.

둘째, 플랫폼과 소프트웨어 부문에서는 프런티어 모델 기업들의 가격 인하 경쟁 심화로 인한 마진 훼손 리스크를 경계해야 한다. 대신 팔란티어, 스노우플레이크(Snowflake), 데이터브릭스(Databricks)처럼 오픈 모델을 기업 내부 데이터와 안전하게 결합해 높은 이식 비용(락인)을 형성하는 데이터·AI 플랫폼 기업에 주목해야 한다.

동일 워크로드 기준 토큰당 처리 비용을 30% 이상 구조적으로 낮출 수 있는 오케스트레이션 역량을 케이스로 증명한 기업만이 하반기 글로벌 통화정책 변동성과 빅테크의 칩 내재화 리스크 속에서 살아남을 수 있다.


김주원 글로벌이코노믹 기자 park@g-enews.com