AI 도입 오류로 예산 860% 초과…아마존 비상

세계 최대 전자상거래 기업 아마존이 인공지능(AI)을 사내 기술 프로젝트에 적용하는 과정에서 예산을 크게 초과한 사례를 잇달아 발견했다.

기존 프로그램에서는 적은 비용으로 끝날 수 있었던 오류가 AI 모델을 사용하면서 거액의 지출로 이어진 것으로 나타났다.

파이낸셜타임스(FT)는 아마존 고위 엔지니어들이 28일(이하 현지시각) 열린 직원회의에서 AI 도입 방식의 오류와 지출 통제 부족으로 일부 프로젝트에 예상하지 못한 비용이 발생했다고 설명했다고 30일 보도했다.

아마존 직원들은 이 같은 비용 초과를 ‘재앙적으로 비싼’ 사례라고 표현했다. 이 회사는 향후 프로젝트에서 지출이 일정 수준을 넘으면 자동으로 작동을 제한하거나 경고하는 통제장치를 개발하고 있다.

가장 큰 비용 초과가 발생한 사례는 아마존 전자상거래 사이트의 상품 목록과 저자 정보를 연결하는 프로젝트였다.

아마존은 이 작업에 앤스로픽의 AI 모델 클로드 소넷을 사용했다. 그러나 시스템을 제대로 구축하지 못했는데도 비용은 180만달러(약 26억1000만원)까지 불어났다.

실제 지출액은 당초 예산보다 860% 많았다. 아마존이 비용 초과 사실을 확인하기까지는 5개월이 걸렸다.

아마존은 “모든 신기술이 그렇듯 실험하고 학습하면서 사용 방식을 개선하고 있다”며 “비용 효율을 높이는 방법도 함께 발전시키고 있다”고 밝혔다.

직원회의에서는 기존 시스템에서 거의 비용을 발생시키지 않았던 사소한 코딩 오류도 AI 모델이 작업을 반복적으로 수행하는 환경에서는 막대한 비용을 초래할 수 있다는 지적이 나왔다.
AI 모델의 사용량과 처리 작업이 늘어날수록 비용이 계속 발생하기 때문에 오류를 조기에 발견하지 못하면 지출이 빠르게 불어날 수 있다는 의미다.


FT에 따르면 AI 관련 비용 폭주는 한 프로젝트에 그치지 않았다.

아마존은 재무감사 도구를 구축하는 별도 프로젝트에서도 약 54만1000달러(약 7억8500만원)의 예상하지 못한 비용을 부담했다.

물류망의 배송 속도를 높이기 위해 AI를 활용한 프로젝트에서는 13만4000달러(약 1억9400만원)의 우발적인 지출이 발생했다. 회사가 문제를 확인하기까지 2주 넘게 걸렸다.

아마존 고위 엔지니어들은 직원들에게 이 같은 비용 초과가 단일한 사고는 아니라고 설명했다.

다만 아마존은 이번에 공개된 사례가 회사 전체의 일반적인 AI 이용 상황을 나타내는 것은 아니라고 반박했다.

이 회사는 “팀들이 서로 배우는 과정에서 발생한 소수의 개별 사례만 골라 일상적인 업무 방식인 것처럼 묘사하는 것은 아마존 전반의 AI 활용 실태를 반영하지 않는다”고 밝혔다.

이번 사례는 아마존 전체 조직 가운데 일부 팀에서 발생했다. 아마존은 약 30만명의 사무직 직원을 고용하고 있으며 분기마다 약 1800억달러(약 261조3000억원)의 매출을 올리고 있다.


아마존의 사례는 대형 기술기업도 AI를 일상 업무에 적용하면서 사용 비용을 정확히 예측하고 통제하는 데 어려움을 겪고 있음을 나타낸다.

한 아마존 고위 직원은 “AI와 관련된 작업에 실제로 얼마가 드는지 파악하기가 어렵다”고 말했다.

앤스로픽, 오픈AI를 비롯한 AI 기업들은 일부 서비스의 요금 체계를 정액제에서 토큰 사용량에 따라 비용을 부과하는 종량제로 전환하고 있다.

토큰은 AI 모델이 입력 내용을 이해하고 답변을 생성할 때 처리하는 데이터의 기본 단위다. 입력하거나 생성하는 문장의 양이 많고 모델을 반복적으로 호출할수록 비용도 증가한다.

기업들은 AI 모델을 도입하기 전에 전체 사용량을 정확히 알기 어렵다. 프로그램 오류로 호출이 반복되거나 필요 이상의 데이터가 처리되면 비용이 예상보다 빠르게 늘어날 수 있다.

AI 이용료가 오르면서 일부 기업은 최고 성능 모델 대신 가격이 낮은 중간급 모델로 전환하고 있다. 모델 이용료 없이 실행에 필요한 컴퓨팅 비용만 부담하면 되는 오픈웨이트 모델을 선택하는 사례도 늘었다.


아마존은 올해 초 직원들의 AI 이용을 장려하려다 오히려 비용을 키운 내부 제도도 폐지했다.

회사는 자체 개발자 플랫폼 ‘키로’의 이용 실적을 기준으로 직원들의 순위를 정하는 내부 게시판을 운영했다.

그러나 직원들이 높은 순위를 차지하기 위해 필요 이상으로 AI 토큰을 사용하는 이른바 ‘토큰맥싱’ 현상이 나타났다. 토큰 소비량 자체가 성과처럼 취급되면서 실제 업무에 필요한 수준 이상으로 사용량이 늘어난 것이다.

아마존 경영진은 직원들에게 좋은 의도로 만든 제도였지만 결과적으로 비용을 증가시켰다고 설명했다. 회사는 이후 해당 순위표 운영을 중단했다.


시가총액이 약 2조5000억달러(약 3628조5000억원)에 달하는 아마존은 대규모 감원을 통해 비용을 줄이는 동시에 AI 투자를 확대하고 있다.

아마존의 올해 자본지출은 약 2000억달러(약 290조3000억원)에 이를 것으로 예상된다. 대부분은 AI와 데이터센터 인프라 구축에 투입될 전망이다.

이 회사는 조직 전반에서 비용을 절감해 AI 투자에 필요한 자금을 확보하려 하고 있다. 그러나 AI가 업무 효율을 높이기보다 통제되지 않은 지출을 발생시키는 사례가 확인되면서 투자 확대와 운영비 관리라는 두 가지 과제를 동시에 안게 됐다.

아마존 엔지니어들은 프로젝트별 AI 사용량과 비용을 자동으로 추적하고 일정 기준을 넘으면 이를 제한하는 안전장치를 마련하고 있다.

AI 모델을 기존 프로그램 대신 사용하는 것만으로 비용 절감 효과가 발생하는 것은 아니며 모델 선택과 사용량, 오류 탐지, 예산 제한을 함께 설계해야 한다는 점이 이번 사례에서 드러났다.


김현철 글로벌이코노믹 기자 rock@g-enews.com