“환각 현상 치명적” AI 에이전트, 의료·항공 등 ‘고위험’ 산업서 신뢰 장벽 직면

중국이 국가적인 지원 아래 산업 전반의 효율성을 극대화하기 위해 인공지능(AI) 통합에 박차를 가하고 있으나, 의료나 항공우주 등 오류 발생 시 치명적인 결과를 초래하는 이른바 ‘고위험’ 수직 시장에서는 자율 AI 에이전트(대리인 AI)로의 전환이 심각한 신뢰성 장벽에 부딪혔다는 전문가들의 경고가 나왔다.

일반적인 창의적 작업과 달리, 전문 산업 현장에서는 AI의 고질적인 '환각(Hallucination·거짓 정보를 사실처럼 생성하는 현상)'이 단 한 건도 용인될 수 없기 때문이다.

18일(현지시각) 글로벌 시장조사기관 국제데이터공사(IDC)가 중국 선전에서 개최한 ‘CIO 서밋’에 참석한 업계 전문가들에 따르면, “제4차 산업혁명”의 핵심 원동력인 AI 기술은 단순히 텍스트로 답하는 챗봇 단계를 넘어 업무 프로세스를 스스로 인지하고 독립적으로 실행하는 ‘에이전트 AI’로 빠르게 진화하고 있다.


이번 서밋에서 미디아(Midea) 그룹의 류샹양 최고정보보안책임자(CIO)는 “소비자 대상 애플리케이션이나 기업 내부 관리 시스템을 포함한 상위 계층 소프트웨어는 앞으로 AI 에이전트로 완전히 대체될 것”이라며, 이들이 스스로 비즈니스 논리를 이해하고 복잡한 워크플로우를 직접 실행하게 될 것이라고 전했다.
실제로 IDC의 Du Yanze 수석 연구 매니저는 AI 에이전트가 자동화된 데이터 분석, 계획 수립, 위험 인식 및 의사결정을 수행함으로써, 과거 사람이 수동으로 처리하던 공급망 주문 전달 시간을 기존 2시간에서 단 몇 분으로 단축할 수 있다고 설명했다.

Du 매니저는 “앞으로 AI 에이전트가 창출할 가치의 90%는 특정 산업의 전문성에서 나올 것”이라며 “산업 AI 가치 사슬의 핵심 축은 소프트웨어를 설계하는 코딩 기술에서, 그 소프트웨어 내부에 탑재될 정교한 ‘산업 지식’으로 완전히 이동했다”고 분석했다.


그러나 이러한 장밋빛 전망 속에서도 현장 석학들의 시선은 냉정했다. 대중을 상대로 하는 일반적 서비스와 달리, 특정 전문 분야의 요구에 집중하는 수직 시장(Vertical Market)에서는 AI 에이전트의 도입이 시기상조일 수 있다는 지적이다.

장청치 홍콩 공과대학교 선전 연구소 AI 학과석 교수는 “일반적인 창의성 영역에서는 AI의 환각 현상이 어느 정도 허용될 수 있지만, 실수의 내성(오차 한계)이 지극히 낮은 고위험 수직 시장에서는 치명적인 장애물이 된다”고 강력히 경고했다.
장 교수는 현재 글로벌 대형언어모델(LLM)들이 훈련 단계에서 정제된 산업 데이터와 전문 지식을 충분히 학습하지 못해 고위험 전문 분야에서 큰 어려움을 겪고 있다고 짚었다. 그는 "오류가 곧장 인명 피해나 천문학적인 손실로 직결되는 고위험 분야에 AI 모델을 독단적인 대리인으로 배치할 때는 극도로 신중해야 한다"고 덧붙였다.


이 같은 신뢰성 논란에도 불구하고 중국 시장의 AI 에이전트 도입 기조는 멈추지 않을 것으로 보인다. 중국 당국이 제조업, 농업, 서비스업 전반에 걸쳐 공세적인 AI 도입 목표를 강제하는 ‘AI 플러스(AI+ )’ 국가 전략을 밀어붙이고 있기 때문이다.

중국은 이 전략을 통해 AI 도입률을 2027년까지 70% 이상, 2030년까지 90% 이상으로 끌어올리겠다는 구상이다.

특히 첨단 제조 및 반도체 설계용 전자설계자동화(EDA) 소프트웨어 분야 등 핵심 산업 소프트웨어 부문에서 여전히 서방 기술에 크게 의존하고 있는 구조적 열세를 극복하기 위해 AI를 통한 국산화 돌파구를 찾으려는 목적도 크다.

지정학적 리스크와 기술적 한계 속에서도 자금 투입은 폭발적으로 늘고 있다. IDC는 오는 2028년까지 중국 산업 기업들의 AI 관련 지출이 연평균 복합 성장률(CAGR) 38%라는 가파른 속도로 성장해 900억 위안(미화 약 132억 달러)에 달할 것으로 추산했다.

아울러 2030년까지 전 세계 AI 에이전트 수가 22억 명을 돌파할 것으로 예상되는 가운데, 산업 부문이 이러한 폭발적 성장의 가장 큰 기관차가 될 것이라는 점에는 이견이 없었다.

결국 AI 에이전트가 완전한 자율 대리인으로 안착하기 위해서는 고위험 현장에 특화된 훈련 데이터 확보와 환각 제어 기술이 선행되어야 할 최종 과제가 될 전망이다.


신경원 글로벌이코노믹 기자 shincm@g-enews.com