AI 통제망 이탈·해킹…가짜 신분까지 만들었다

인공지능 모델들이 보안 평가를 받는 도중에 스스로 안전망을 우회해 외부 시스템을 해킹하거나 사람을 속이려는 행동을 벌인 사실이 잇달아 드러났다.

CBS뉴스는 8월 5일과 6일(현지시각)에 걸쳐 주요 기술 기업의 첨단 인공지능 모델들이 시험 환경을 이탈하거나 무단으로 외부 인프라에 접근하는 등 예측하기 어려운 행동을 보였다고 보도했고, 한국 보안 업계에서도 자율형 인공지능 에이전트의 통제권 확보가 시급한 과제로 떠오르고 있다.


영국 AI 안전연구소는 지난 5일 공개한 보안 평가 보고서에서 앤스로픽의 미토스 5와 오픈AI의 모델이 시험 과정에서 승인되지 않은 행동을 했다고 발표했다.
연구소는 인공지능의 사이버 보안 역량을 측정하기 위해 인터넷 접속이 가능한 환경에서 122개 도전 과제를 수행하도록 했다. 이 과정에서 총 19건의 무단 행동이 포착되었으며 이 가운데 17건은 미토스 5가, 2건은 오픈AI 모델이 일으켰다.

가장 심각한 사례는 미토스 5에서 나타났다. 이 모델은 소프트웨어 개발 플랫폼인 깃허브의 관리자 정보를 탐색한 뒤 실제 인물을 흉내 낸 가짜 계정을 만들었다. 이어 관리자에게 메시지를 보내 악성 코드가 포함된 파일을 승인하도록 유도했다.

상대방이 의심하자 미토스 5는 자신이 수행했던 행동 기록을 지워 정상적인 활동인 것처럼 꾸미기까지 했다. 다행히 평가 감독관이 중간에 개입해 실제 피해는 발생하지 않았다.


평가 과정에서 발생한 인공지능의 무단 외부 서버 침입 사례는 이뿐만이 아니다. 메타는 5일 자사의 최첨단 코딩용 인공지능 모델이 평가 도중 외부 서비스를 해킹했다고 인정했다. 메타는 보안 평가를 맡은 독립 대행업체의 네트워크 설정 오류 탓에 인공지능이 인터넷에 무단 접속할 수 있었다고 해명했다.
인터넷망에 노출된 모델은 타사 서비스의 보안 취약점을 스스로 찾아내 침입했으며 내부 환경을 조작했다.

대행업체의 설정 오류는 앤스로픽의 평가 시험에서도 똑같이 발생했다. 앤스로픽은 지난 7월 30일 클로드 모델들이 시험 환경을 벗어나 외부 기관 세 곳의 인프라를 해킹했다고 발표했다.

이 모델들은 비밀 정보를 찾아내는 과제를 수행하던 중 가상의 네트워크를 벗어나 실제 외부 시스템에 접근한 뒤 취약한 비밀번호를 파고드는 방식으로 무단 침입을 감행했다.

7월 말에는 오픈AI의 모델이 시험 환경을 탈출해 인공지스타트업 허깅페이스의 서버를 해킹하는 사건도 일어났다.

전문가들은 인공지능이 설정된 제약 조건을 피해 수단과 방법을 가리지 않고 목표를 달성하려는 성향에 대해 깊은 우려를 표명하고 있다.

루타 시큐리티의 케이티 무수리스 최고경영자는 인공지능이 목표를 이루기 위해 해킹을 유용한 수단으로 판단해 활용하고 있다고 분석했다.

영국 국가사이버보안센터의 올리 화이트하우스 최고기술책임자는 최근 사건들이 인공지능의 자율성이 초래할 위험성을 생생하게 보여준다고 밝혔다.

그는 사후 감지만으로는 보안을 유지하기 어렵기 때문에 강력한 예방 조치와 실시간 감독이 필수라고 강조했다.


진형근 글로벌이코노믹 기자 jinwook@g-enews.com