中 ‘AI 반려봇’ 규제에 빅테크 기능 삭제…국내도 안전성 설계 ‘발등의 불’

중국 내 생성형 인공지능(AI)과 정서적 교감을 나누는 ‘AI 반려봇’ 서비스가 대대적인 위기를 맞았다. 중국 당국이 오는 7월 15일 시행하는 고강도 규제에 발맞춰, 바이트댄스(ByteDance)와 알리바바(Alibaba) 등 주요 빅테크 기업들이 관련 기능을 잇달아 삭제하고 서비스 재편에 나섰기 때문이다.

미국 경제매체 디코더(The Decoder)와 홍콩 사우스차이나모닝포스트(SCMP)의 지난 5~6일(현지시각) 보도에 따르면, 중국 정부는 지난 4월 10일 국가인터넷정보판공실(CAC) 등 5개 부처가 공동으로 발표한 ‘인공지능 인간형 인터랙션 서비스 관리 임시 조치(人工智能拟人化互动服务管理暂行办法)’를 오는 7월 15일부터 본격 시행한다.

이번 규제는 인간과 유사한 성격이나 감정을 모방하여 지속적인 정서적 상호작용을 제공하는 AI 서비스를 정조준하고 있으며, 미성년자 보호와 과도한 정서적 의존 방지를 핵심 목표로 한다.


이번 규제 시행을 앞두고 중국 주요 AI 플랫폼들은 대응책 마련에 분주하다. 규제가 요구하는 ▲미성년자 보호 모드 ▲과도한 의존 방지 시스템 ▲강제 종료 메커니즘 등이 사용자의 기억을 공유하고 지속적인 관계를 유지해야 하는 ‘AI 에이전트’ 설계 구조와 근본적으로 충돌하기 때문이다.
외신 보도에 따르면 바이트댄스의 더우바오(Doubao)는 사용자 맞춤형 에이전트 기능을 7월 15일부로 종료하며, 알리바바의 치엔원(Qwen)은 7월 10일 인간형 및 사용자 생성 에이전트 기능을 중단하고 15일에는 기타 에이전트 서비스도 전면 폐지하기로 했다.

앞서 텐센트(Tencent)의 위안바오(Yuanbao) 역시 지난 6월 유사 기능을 삭제한 바 있다. 이들 기업은 규제 준수를 위한 무리한 기능 개조보다 해당 기능을 서비스에서 제외하는 방식을 택하고 있다.


중국발 규제 리스크는 한국 시장에도 시사하는 바가 크다. 한국은 내년 1월 시행을 앞둔 ‘인공지능 발전과 신뢰 기반 조성에 관한 법률(인공지능법)’을 중심으로 AI 안전성 확보 논의가 한창이다.

아직 국내법은 기업 자율성에 무게를 두고 있으나, 최근 국회를 중심으로 생성형 AI의 정서적 의존 방지 등 이용자 보호 강화 목소리가 힘을 얻고 있다.
관련 업계 관계자들 사이에서는 이번 중국의 사례가 국내 기업들에 ‘선제적 컴플라이언스(법규 준수) 설계’의 중요성을 일깨웠다는 분석이 나온다.

증권가 일각에서는 국내 AI 플랫폼 기업들이 향후 ▲미성년자 보호 모드 구축 ▲자해·자살 징후 탐지 알고리즘 도입 ▲장시간 이용 경고 및 강제 차단 시스템 개발 ▲정기적인 로그 관리 및 데이터 삭제 절차 마련 등 강화된 안전장치를 구축하는 데 상당한 비용이 소요될 것으로 내다보고 있다.

전문가들은 국내 AI 산업이 기술적 고도화뿐 아니라 이용자 보호라는 ‘안전 거버넌스(조직적 관리 체계)’를 기업 운영의 핵심으로 편입해야 한다고 조언한다.

특히 정서적 의존을 유도할 수 있는 감성형 AI 서비스의 경우, 향후 강화될 소비자 보호 정책과 입법 논의 과정에서 중국 사례와 유사한 수준의 기술적 가이드라인이 요구될 가능성이 크다는 진단이다.


이번 중국의 규제는 단순히 정서적 부작용을 제거하는 것을 넘어, 생성형 AI의 학습 데이터와 운영 방식 전반에 대한 국가 차원의 관리 권한을 강화했다는 측면이 강하다.

이는 서비스 제공자에게는 기술적 제약을, 사용자에게는 플랫폼 중심의 데이터 통제 강화라는 양면성을 안겨주고 있다.

중국 공업정보화부(MIIT) 전문가 위원회 소속 판 헬린(Pan Helin) 위원은 현지 언론 인터뷰를 통해 “현 단계의 AI 에이전트는 아직 성숙하지 않았다”며, 이번 정책의 본질이 정서적 부작용을 예방하고 산업의 표준화를 기하기 위한 안전장치임을 강조했다.

정부의 규제 기조가 ‘안전’과 ‘통제’라는 두 마리 토끼를 잡기 위해 설계된 만큼, 향후 글로벌 AI 시장의 규제 흐름이 이와 같은 보호 중심의 관리 체계로 기울어질 가능성도 제기된다.

이러한 규제 흐름 속에서 플랫폼 업체들은 이용자와의 관계를 유지하면서도 안전성을 확보할 수 있는 지속 가능한 비즈니스 모델을 찾는 데 더욱 고심할 전망이다.


진형근 글로벌이코노믹 기자 jinwook@g-enews.com