AI 에이전트, 기업 단위 도입은 시기상조..."막대한 비용 발생과 혼란 초래할 수도"

인공지능(AI) 에이전트가 도입되면서 기업 경영진이 열광하고 있지만 그 기반은 여전히 취약하다고 CNBC가 19일(현지시각) 경고했다.

비용 절감을 위해 무턱대고 도입했다가 비용 폭탄을 맞을 수도 있고, 심각한 혼란을 초래할 수 있다는 것이다.

AI 에이전트가 기업용 소프트웨어 시장 판도를 재편할 것이란 우려로 소프트웨어 종목들이 고전했지만 이는 어쩌면 아직은 기우에 불과할 수 있음을 시사한다.


CNBC에 따르면 실리콘밸리 엔지니어들과 경영진은 AI 에이전트가 갖고 있는 현실적 한계를 직시하고 있다.
우선 막대한 비용 문제다.

많은 기업들이 모든 업무를 무분별하게 거대언어모델(LLM)로 처리하면서 막대한 비용이 발생하고 있다.

메이벨(Meibel) 최고경영자(CEO) 케빈 맥그래스는 현재 AI 분야의 화두는 “모든 것이 LLM을 통해 처리돼야 한다는 잘못된 생각”이라면서 이는 막대한 낭비라고 지적했다.

AI 모델은 텍스트를 ‘토큰’이라는 단위로 쪼개 처리하고, 기업은 이 토큰 양에 따라 비용을 지불한다.

그러나 AI 만능주의가 확산하면서 간단한 데이터 분류, 산술 연산 등도 고비용의 LLM에 맡기는 경우가 늘고 있다.
AI 에이전트들이 협업하는 과정에서 서로 출력을 확인하고 수정하는 과정을 반복하면서 토큰 소비량이 기하급수적으로 늘어나기도 한다.

막대한 추론 비용도 문제다.

구글 소프트웨어 엔지니어 딥 샤는 추론 비용이 만만찮다는 점을 기업들이 간과하곤 한다고 지적했다.

기업은 보통 인턴 한 명 월급보다 AI 에이전트 운영비가 싸다고 생각하지만 반드시 그런 것은 아니다.

GPU(그래픽처리장치) 사용료 등 클라우드 컴퓨팅 비용이 예상을 훌쩍 넘겨 인건비를 압도하는 경우가 속출하고 있다.

특히 사용자 수에 비례해 비용이 늘어나는 AI 에이전트의 비용 구조는‘비용 블랙홀’이 될 수도 있다.


단순히 질문에 답하는 기존 AI 모델과 달리 스스로 행동하는 AI 에이전트가 갖고 있는 가장 큰 위험은 인간이 그 속을 들여다볼 수 없다는 것이다. ‘블랙박스’인 것이다.

AI 에이전트가 무슨 ‘생각’을 하는지 통 모르기 때문에 관리하기가 어렵다.

싱크트론 CEO 라비 불루수는 AI 에이전트는 그 특성으로 인해 기업 시스템에 적용하기 어렵다고 지적했다.

기업 시스템은 결정론적이어서 동일한 입력에 대해 동일한 결과가 나와야 하지만 AI 에이전트는 확률에 기반해 작동한다. 같은 상황에서도 매번 조금씩 다른 결론이 나올 수 있다는 뜻이다.

수만 명의 고객에게 동일한 품질의 서비스를 제공해야 하는 기업 입장에서는 신뢰하기 어려운 시스템이다. 어제는 환불이 됐지만 오늘은 안 되는 시스템은 브랜드 신뢰도에 독이 된다.

AI 에이전트는 인간이 판단 근거를 완벽하게 추론하기도 어렵다.

AI 에이전트의 생각의 줄기를 사람이 실시간으로 감시하는 것이 불가능할 정도로 생각 처리 과정이 빠르기 때문이다. 오류가 나도 이를 찾는 것은 불가능에 가깝다.

이런 블랙홀 같은 AI 에이전트를 기업 단위로 묶어 시스템으로 통합하면 결국 대혼란과 혼돈, 카오스 상태로 치달을 수도 있다.

싱킹AI 공동창업자 크리스 한은 여러 에이전트를 한 눈에 파악하고 통제할 수 있는 중앙 관리 시스템이 아직 시장에는 나오지 않았다면서 기업 수준의 AI 에이전트는 지금은 불가능하다고 결론냈다.


김미혜 글로벌이코노믹 해외통신원 LONGVIEW@g-enews.com


[알림] 본 기사는 투자판단의 참고용이며, 이를 근거로 한 투자손실에 대한 책임은 없습니다.