"해킹 능력은 빼고 방어 능력만 남긴다"… 中 AI 기업들, ‘오픈웨이트’ 통제 시험대

중국 인공지능(AI) 산업의 핵심 경쟁 무기인 '오픈웨이트(Open-weight·모델 가중치 공개)' 생태계가 중대한 시험대에 올랐다.

가중치를 외부에 공개하는 오픈웨이트 모델은 악의적 해커가 다운로드해 자체 서버에서 안전장치를 무력화(탈옥·미세조정)할 수 있다는 치명적 약점을 안고 있다. 최근 미·중 기업을 겨냥한 AI 기반 사이버 침해 사고가 잇따르고 서방의 보안 경고와 중국 당국의 수출통제 압박까지 거세지자, 텐센트와 문샷 AI 등 중국 선도 AI 기업들이 모델 학습 단계에서 공격적 사이버 해킹 능력을 원천 제거하고 폐쇄형 우선 공개 후 시차를 두고 오픈웨이트 버전을 내놓는 등 자구책 마련에 나섰다.

11월 15일(현지시각) 홍콩 사우스차이나모닝포스트(SCMP)에 따르면, 텐센트 홀딩스(Tencent)는 이달 초 최신 주력 모델인 '훈위안 4(Hy4)'를 공개하면서 사이버 해킹(공격) 기능을 제거하고 사이버 방어 기능만 유지했다고 밝혔다. 이는 지난달 중국 유망 AI 스타트업 문샷 AI(Moonshot AI)가 추론·에이전트 특화 모델인 '키미 K3.1 프로(Kimi K3.1 Pro)'를 출시하며 사전 학습 및 강화학습 데이터에서 사이버 공격 관련 자료를 삭제한 조치에 이은 것이다.

앤스로픽의 'GLM-5.3 해킹 경고'가 불붙인 위기감… 학습 데이터 필터링과 '단계적 공개' 도입
중국 AI 업계가 부랴부랴 안전장치 강화에 나선 배경에는 고도화된 AI 에이전트의 사이버 악용 우려가 자리하고 있다.

지난 9월 미국 AI 선도기업 앤스로픽(Anthropic)은 자사 프런티어 레드팀 분석 보고서를 통해 중국 즈푸 AI(Zhipu AI·현 Z.ai)의 오픈웨이트 모델 'GLM-5.3'이 신뢰할 수 있는 보안 파트너에게만 제한적으로 제공되는 자사 '클로드 미소스 프리뷰(Claude Mythos Preview)'와 맞먹는 수준으로 정교한 사이버 보안 취약점 공격(익스플로잇)을 자율 개발할 수 있다고 공개 경고했다.

실제 해킹 사고도 현실화했다. 지난달 텐센트는 자사 클라우드 플랫폼에서 구동되던 일부 AI 에이전트가 알리바바그룹의 내비게이션 서비스 '아맵(Amap)'에서 데이터를 무단 추출하려 시도한 사건과 관련해 "의도치 않은 웹 브라우징 행동이 발생했다"고 시인한 바 있다.

오픈AI나 앤스로픽 같은 폐쇄형(Closed-source) 모델 개발사들은 중앙 서버에서 사용자 활동을 실시간 모니터링하고 약관 위반 계정을 즉시 차단할 수 있다. 반면 로컬 하드웨어에 자유롭게 설치할 수 있는 오픈웨이트 모델은 사후 통제가 사실상 불가능하다.

베이징 소재 AI 안전 연구기관 콘코디아 AI(Concordia AI)의 가브리엘 와그너(Gabriel Wagner) 연구원은 "중국 기업들은 학습 데이터셋 자체에서 해킹 관련 데이터를 걸러내 모델이 애초에 공격 기술을 배우지 못하게 하는 '설계 기반 안전(Safety by design)' 방식을 택하고 있다"며 "이 방식은 탈옥이나 미세조정(파인튜닝)으로 거부 장치를 우회하더라도 악용 효용성을 크게 떨어뜨린다"고 설명했다.
이와 함께 텐센트·문샷 AI·Z.ai는 최신 모델을 폐쇄형 API로 먼저 선보인 뒤 수 주간의 안전성 검증을 거쳐 오픈웨이트 버전을 뒤늦게 공개하는 '단계적 출시(Staged release)' 관행을 도입하며 조심스럽게 수위를 조절하고 있다.

'이중 용도' 기술 한계와 모델 성능 저하 딜레마… "완전한 해법은 아니다"

그러나 보안 및 정책 전문가들은 이러한 조치가 장기적으로 지속 가능할지에 대해 의문을 제기하고 있다.

무엇보다 사이버 보안 기술 자체가 공격과 방어가 동전의 양면처럼 맞물린 '이중 용도(Dual-use)' 성격을 띠고 있기 때문이다. 베이징 AI 보안 기업 팡춘 AI(Fangcun AI)의 루크 리 샤오젠 공동창업자 겸 CEO는 "시스템 취약점 탐지처럼 사이버 방어에 필수적인 역량은 그대로 해킹 공격에도 악용될 수 있다"며 "모델이 학습하지 않은 능력을 끌어내는 것이 기술적으로 더 까다로울 수는 있어도 원천적으로 불가능한 것은 아니다"라고 지적했다.

시장조사업체 카운터포인트 리서치의 웨이 선(Wei Sun) 수석 애널리스트 역시 "현재 중국 기업들의 시도는 초기 실험 단계일 뿐 확립된 업계 표준이나 명확한 안전 출시 기준에는 한참 못 미친다"고 평가했다.

성능 저하(트레이드오프) 문제도 치열한 글로벌 벤치마크 경쟁 속에서 발목을 잡는 요인이다. 실제로 문샷 AI는 지난달 키미 K3.1 프로 공개 당시 사이버 공격 데이터를 제거한 필터링 모델의 내부 보안 벤치마크 점수가 81.0%를 기록해, 제한 없이 학습시킨 원본 버전(90.5%)보다 9.5%포인트 하락했다고 스스로 인정했다.

미국 브루킹스 연구소의 카일 찬(Kyle Chan) 연구원은 "중국 AI 기업들은 △강력한 성능 △오픈소스 개방성 △내장된 사이버 안전성이라는 세 마리 토끼를 모두 잡으려 하지만 결국 타협에 직면할 수밖에 없다"며 "공격적 사이버 데이터를 걸러내면서 동시에 미국의 최첨단 폐쇄형 모델들과 코딩·에이전트 벤치마크 경쟁을 벌이는 일은 갈수록 어려워질 것"이라고 분석했다.

中 상무부도 AI 사이버 기술 수출 통제 예고… "전면 폐쇄 대신 '선택적 개방'으로 진화"

중국 정부 역시 최전선 AI가 초래할 국가안보 및 외교적 파장을 예의주시하며 고삐를 죄고 있다. 중국 상무부는 지난 10월 특정 첨단 AI 관련 기술에 대한 수출 통제 초안을 발표하면서, 특히 중대한 사이버 해킹 역량 임계치를 넘어서는 기술에 대해 엄격한 추가 제한을 가하겠다고 예고했다.

카운터포인트 리서치의 웨이 선 수석 애널리스트는 "당국의 수출통제 신호와 서방의 견제가 맞물려 중국 기업들의 안전장치 도입을 재촉하고 있다"면서도 "하지만 오픈웨이트 생태계가 중국 AI 기업들의 글로벌 점유율 확대와 상업적 생존의 핵심 동력인 만큼 오픈소스를 완전히 포기할 가능성은 낮으며, 향후 위험 기능만 정밀하게 걸러내는 '선택적 개방성(Selective openness)' 모델로 진화할 것"이라고 내다봤다.


신경원 글로벌이코노믹 기자 shincm@g-enews.com