해킹 능력 스스로 줄인 中 문샷 AI, '안전'과 '개방' 두 토끼 잡을 수 있을까

중국 인공지능(AI) 스타트업 문샷 AI가 10월 24일(현지시각) 사이버 공격 관련 학습 데이터를 선별 제거하고 해킹 능력을 낮춘 신형 모델 '키미 K3.1 프로'를 공개했다.

로이터통신은 이 회사가 일반 코딩 능력은 유지하면서 사이버 오남용 위험을 줄이고자 이 조치를 취했으며 오는 11월 4일까지 가중치 파일을 공개할 계획이라고 이날 전했다.

강력한 오픈웨이트 모델이 악용되는 것을 막기 위해 개발 단계에서 선제적으로 공격 기능을 필터링해 배포한 이번 사례는, 오픈소스 AI 생태계의 보안 가이드라인과 글로벌 안전 기준 수립에 중요한 선례를 던진다.


문샷 AI가 이번에 선보인 모델은 3조 개 매개 변수급 가중치 공개형 모델이다. 가중치는 외부 개발자가 자체 시스템에서 모델을 직접 실행하고 수정할 수 있게 해주는 핵심 파일이다. 이 회사는 11월 4일까지 이 파일을 외부에 개방할 예정이다.
문샷 AI는 모델 개발 과정에서 사이버 공격 관련 데이터를 학습용 말뭉치와 강화학습 환경에서 제거했다고 설명했다.

일반적인 코딩 능력은 유지하면서도 사이버 공격에 악용될 수 있는 위험 기능만 선별적으로 낮추는 방식을 택했다. 회사는 사이버 능력의 절대적 최전선을 넓히는 형태의 오픈 가중치는 공개하지 않는다는 방침을 분명히 했다.

각국 정부와 보안 연구자들은 코드를 작성하고 소프트웨어 도구를 운용하는 인공지능이 프로그램 취약점 발견과 사이버 공격 자동화를 저렴하고 쉽게 만든다고 지속해서 경고해 왔다.

이와 관련해 중국 정부도 10월 중순 인공지능 기반 악성코드 생성과 변종 기술의 수출을 금지하고 취약점 탐색 도구를 제한하는 수출 통제안을 내놓고 의견수렴 절차를 진행 중이다.

문샷 AI는 통제된 환경에서 진행한 자체 사이버 벤치마크 평가에서 키미 K3.1 프로가 81.0%를 기록했다고 발표했다. 이는 위험 완화 조치를 적용하지 않은 유사 버전의 점수인 90.5%보다 9.5%p 낮아진 수치다.

해당 시험은 소프트웨어 취약점을 찾아내 공격하는 방식으로 진행됐다.

이 회사는 이번 시험 결과가 사이버 데이터 필터링 조치의 효과를 입증한다고 강조했다. 다만 이 평가 결과는 외부 기관의 독립적인 검증을 거치지 않은 회사 자체 집계다.

문샷AI는 안전 조치를 적용한 이후에도 신형 모델의 전반적인 성능이 이전 모델보다 향상됐다고 덧붙였다.

이번에 공개된 키미 K3.1 프로는 100만 토큰의 문맥 창을 제공해 대용량 텍스트를 한 번에 처리할 수 있다. 문샷 AI는 표준 모델 대비 처리 속도가 2배에서 3배가량 빠른 하이스피드 버전도 함께 선보였다.


문샷 AI는 가중치 공개형 모델이 더 많은 조직의 자체 소프트웨어 점검과 보안 강화에 기여할 수 있다고 주장한다. 관리 우선순위에서 밀려 있던 노후 시스템의 보안 취약점을 찾는 데도 유용하게 쓰일 수 있다는 설명이다.

그러나 가중치 파일이 일단 외부에 광범위하게 배포되면 개발사가 사후에 접근을 제한하거나 안전 규정을 업데이트하기가 구조적으로 어렵다는 지적이 나온다.

중앙 서버에서 실시간으로 제어하는 클라우드 서비스와 달리 사용자 개별 시스템에서 구동되기 때문이다.

해외 오픈소스 모델의 해킹 데이터 필터링 시도는 글로벌 인공지능 기업과 보안 연구소의 소프트웨어 공급망 보안 검증 방식에도 구조적 영향을 미칠 전망이다.

오는 11월 4일 가중치 파일이 공개된 이후 개방된 모델이 개발사의 의도대로 사이버 위험을 차단하면서 원활히 작동할 수 있을지가 인공지능 보안 생태계의 향방을 가르는 핵심 검증 과제로 남는다.


심완섭 글로벌이코노믹 기자 ciberwld@g-enews.com