비용·신뢰성 잡는 검증·관측 플랫폼이 시장 장악

AI 산업 주도권이 거대언어모델(LLM) 성능 경쟁에서 비용·신뢰성·운영을 제어하는 플랫폼으로 이동하고 있다. 개념 검증(PoC) 단계를 지나 본격 상용화 단계에 접어들며 추론 비용과 환각 위험이 기업 AI 도입의 최대 병목으로 부상한 탓이다.

정보기술 자문기업 가트너는 2026년 세계 AI 플랫폼과 모델 시장 규모가 642억 5200만 달러(약 94조 9500억 원)로 지난해보다 63.4% 늘어난다고 7월 20일(현지시각) 발표했다.

거대 기술기업들의 설비투자가 급증하면서 하드웨어 가속기 시장도 대형화를 이룬다. 블룸버그 인텔리전스는 2026년 전망 보고서에서 AI 가속기 시장이 2033년 6040억 달러(약 892조 4700억 원)에 이른다고 분석했다.



가트너 자료를 보면 올해 도메인 특화 언어모델(DSLM)과 전문화한 생성형 AI 모델 시장은 210.0% 폭증해 49억 1000만 달러(약 7조 2550억 원) 규모를 형성한다.

범용 초거대 모델 시장이 104.2% 성장해 233억 5600만 달러(약 34조 5030억 원)를 기록하는 동안, 특정 산업에 맞춘 특화형 모델이 훨씬 빠른 속도로 시장을 확장한다. 범용 모델과 비교해 연산 비용이 낮고 정확도가 높아 투자 대비 성과(ROI)를 빠르게 입증할 수 있는 까닭이다.

기업들의 AI 예산 검증이 엄격해지면서 단순 모델 공급자보다 비용 투명성, 사용량 추적, 성능 평가 모듈을 통합 제공하는 플랫폼 기업이 실질적 수익을 거둔다. 클라우드 인프라를 구축한 마이크로소프트, 아마존웹서비스(AWS), 구글을 비롯해 관측성과 오케스트레이션 역할을 맡은 데이터독, 스노우플레이크, 데이터브릭스 등이 관련 솔루션을 제공하는 기업군으로 평가받는다.

아루나스리 체파티 가트너 수석 연구원은 "기업 AI 예산에 대한 감시가 강화되면서 사용 효율성과 비용 통제가 핵심 요소로 떠올랐다"며 "평가 시스템과 비용 투명성을 워크플로에 내장한 제공업체가 시장 경쟁에서 절대적 우위를 점한다"고 진단했다.

하드웨어 시장 역시 폭발적으로 커진다. 블룸버그 인텔리전스는 하이퍼스케일러와 2티어 클라우드 기업들의 설비투자가 3조 5000억 달러(약 5171조 원)까지 늘어나면서 AI 가속기 시장 확장을 견인한다고 짚었다.

주문형 반도체(ASIC) 시장은 클라우드 기업들의 자체 칩 내재화 흐름을 타고 2033년까지 1200억 달러(약 177조 3120억 원) 규모로 커진다. 특정 연산 작업에 최적화한 설계로 전력 효율을 높이고 운영 비용을 절감할 수 있어서다. 반면 그래픽처리장치(GPU)는 단일 칩 형태를 벗어나 서버 랙 단위의 통합 시스템으로 진화한다.

블룸버그 인텔리전스는 엔비디아, AMD, 브로드컴, 마벨이 시장 확장을 주도하는 상황에 독자적 소프트웨어 생태계와 막대한 초기 설비투자 규모가 강력한 진입장벽을 형성한다고 분석했다. 이에 따라 중소형 경쟁업체의 시장 진입 기회는 2029년 이후까지 극히 제한될 전망이다.


가트너와 블룸버그 인텔리전스의 보고서를 종합하면 앞으로 AI 인프라 시장의 향방을 가름할 세 가지 관전 포인트가 드러난다.

첫째, 하이퍼스케일러의 설비투자(CAPEX) 대비 AI 실제 매출 발생 비중이다. 투자가 실제 사용량 증가와 매출로 이어지는지 추적해야 한다.

둘째, 가속기 시장 내 학습(Training)과 추론(Inference) 비중의 변화다. 추론 시장 비중이 커질수록 도메인 특화 모델과 주문형 반도체의 성장 속도가 빨라진다.

셋째, 사용량 기반 요금제를 적용하는 AI 플랫폼 기업들의 마진 구조다. GPU 인프라 비용 부담을 극복하고 지속 가능한 이익률을 유지하는지가 개별 기업의 생존을 결정한다.


김주원 글로벌이코노믹 기자 park@g-enews.com