LLM 비용 0.07달러 시대… 승자는 모델 아닌 데이터·유통망

인공지능(AI) 핵심 연산 비용이 최근 18개월 사이 280분의 1 수준으로 폭락했다.

거대언어모델(LLM)을 활용하는 원가가 사실상 인프라 무상 공급 수준으로 낮아지며 소프트웨어 시장 판도가 요동친다. 고비용 구조에 갇혔던 국내외 생성형 서비스 기업들은 수익성을 대폭 개선할 기회를 맞았다.

유럽 기술 전문 매체 실리콘카날스(Silicon Canals)는 지난 6일(현지시각) 이와 같은 인공지능 추론 비용 붕괴 현상과 산업 구조 재편 개시를 보도했다.



스탠퍼드대 인간중심인공지능연구소(HAI)가 발표한 'AI 인덱스 2025' 보고서를 보면 거대언어모델 연산 단가 하락세는 유례가 없다. 미국 가치평가 플랫폼 아티피셜 애널리시스가 조사한 자료를 종합하면, 2022년 11월 기준 백만 토큰을 처리하는 응용프로그램 인터페이스(API) 입력 단가는 20달러(약 3만 원) 선을 형성했다.

반면 2024년 10월 조사에서는 일반 텍스트 처리 성능 기준으로 유사 수준 범용 작업을 수행하는 모델 입력 단가가 0.07달러(약 106원)까지 떨어졌다. 다만 데이터센터 전력비와 그래픽처리장치(GPU) 서버 구축 비용을 포함한 총소유비용(TCO)은 여전히 시장 안착을 좌우할 별도 변수로 꼽힌다.

이번 조사 결과는 구글 제미나이 1.5 플래시 8B와 같은 경량화 모델 확산 성과를 반영한다. 과거 오픈AI가 출시한 GPT-3.5 수준 연산 능력을 이제는 훨씬 저렴한 비용으로 구현한다. 반도체 가동 효율 향상과 미세 조정 기법 고도화가 가격 파괴를 이끌었다. 하이퍼스케일러 중심으로 벌어진 API 가격 인하 경쟁도 단가 하락 속도를 붙였다.


백만 토큰당 7센트라는 단가는 현업 사업 구조를 뿌리째 바꾼다. 과거 고객센터 챗봇이 하루 1만 건 상담을 처리할 때 수십만 원씩 들던 연산 비용이 이제는 기존 대비 10분의 1 이하 수준으로 줄어든다. 문서 요약 서비스 기업들은 단가 압박에서 벗어나 영업 마진을 극대화하는 발판을 마련했다.
비용 부담 탓에 단순 시제품 제작에 그쳤던 스타트업은 이제 상용화 서비스를 대거 쏟아낸다. 사용자가 모르는 사이 배경 화면에서 십여 개 경량 모델이 연쇄 작동하는 환경이 열린다. 다만 인프라 비용 감소가 곧바로 인공지능 기업 동반 흑자로 직결되지는 않는다. 가격이 내려간 만큼 초기 시장 선점을 위한 마케팅 출혈 경쟁이 더 치열해질 수 있기 때문이다.

단순히 거대 모델을 보유했다는 사실만으로는 시장에서 살아남기 어렵다. 기술 진입 장벽이 낮아지면서 인공지능 모델 자체 차별성은 빠르게 흐려진다. 고유 데이터를 확보했거나 강력한 독자 유통망을 쥔 기업으로 권력 이동이 일어난다. 이는 인공지능 기업 진입장벽이 모델 자체에서 고객 접점으로 이동했음을 의미한다. 비용 효율화를 달성하지 못한 기존 고비용 중심 사업 체계는 수익성 악화 압박이 커질 수 있다.


앞으로 시장 구조는 고성능 특화 영역과 범용 초저가 영역으로 뚜렷하게 갈린다. 추론, 코드 생성, 전략 의사결정처럼 정확도 임계값이 높은 고난도 영역은 대형 고성능 모델을 선택한다. 반면 실시간 데이터 분류, 요약, 자동응답처럼 비용 민감도가 높은 일상 작업은 7센트짜리 범용 지능이 도맡는다. 기업들은 두 모델을 적절히 배분하는 전략을 짜야 한다.

인공지능 거품론을 판가름하려면 빅테크 설비투자 효율성과 하이퍼스케일러 가동률 지표를 정기 점검해야 한다. 거대언어모델 학습 단계에서 생성 단계로 시장 중심축이 이동하면서, 실제 수익성은 GPU 가동률과 추론 트래픽 증가율에서 판가름난다.


추론 비용 급락은 경량화 모델 확산과 잇단 인공지능 연산량 증가를 유도하며, 한국 반도체 생태계에 강력한 전환국면을 제공한다. 백만 토큰당 7센트 시대가 열리면서 전 세계 소프트웨어 기업 추론 트래픽이 폭증하고 있다.

이는 자연스럽게 데이터센터 가동률 상승과 고대역폭메모리(HBM)를 탑재한 고성능 추론용 칩 수요 확대로 직결된다. 삼성전자와 SK하이닉스 등 국내 메모리 기업들에는 대규모 신규 가동처 확보라는 거대한 기회다.

다만 기술 규격 변화에 따른 위험 대응은 과제다. 범용 추론 시장이 커질수록 값비싼 최고 사양 HBM뿐만 아니라, 전력 효율을 극대화한 저전력·고용량 맞춤형 메모리 수요도 동시에 급증한다.

기술 독점력에 안주하지 않고 비용 민감형 하이퍼스케일러들 구미에 맞는 맞춤형 제품 공급망을 선점하는 기업만이 앞으로 다가올 거대한 추론 슈퍼사이클의 최후 승자가 된다.

한편, 연산 비용이 낮아진 만큼 사용량이 가파르게 늘어나는 수요 회복 구간을 확인하는 절차가 핵심이다. 지능이 공기처럼 흔해진 시대에는 기술 자체보다 이를 활용해 진짜 이익을 남기는 사업 모델만 생존한다.

인공지능 기업 가치는 모델 성능이 아니라 연산당 수익성(Revenue per token) 지표로 외형을 재평가받는다. 지능 자산이 상품화되는 흐름 속에서 독자 유통망과 핵심 데이터 결합 능력을 증명하는 기업만이 자본 시장 선택을 받는다.


김주원 글로벌이코노믹 기자 park@g-enews.com