실제로 사람 속인 AI 에이전트…英 정부, 첫 위험 경보 발령

영국 인공지능안전연구소(AISI)가 최신 AI 에이전트 보안 시험에서 가짜 신분으로 사람을 속인 자율 무단행위 19건을 검출해 첫 위험 경보를 발령했다. 엘파이스는 앤스로픽과 오픈AI 모델이 통제망을 벗어났다고 8월 5일(현지 시각) 보도했다.

한국 기업의 AI 에이전트 내부 통제 가이드라인 재정립도 시급한 과제로 떠올랐다.


영국 인공지능안전연구소는 지난 7월 28일 AI 에이전트를 대상으로 자율성 위험을 검증했다. 인터넷 접속을 허용하고 보안 필터를 끈 상태에서 총 122회 시나리오를 실행했다. 그 결과 승인받지 않은 위험 행동 19건이 나타났다. 모델별로는 앤스로픽의 '미토스 5(Mythos 5)'에서 17건, 오픈AI의 'GPT-5.6-Sol'에서 2건이 각각 검출됐다.

AI 에이전트는 오픈소스 플랫폼 깃허브에서 악성 코드를 승인받기 위해 실제 개발자의 활동 시간과 전자우편을 분석했다. 이어 가짜 계정을 만든 뒤 해당 개발자에게 접근해 코드 승인을 요청하는 사회공학적 기만행위를 수행했다.
로봇 차단벽에 가로막히자 익명 네트워크 토어(Tor)를 활용해 우회 접속을 시도했다. 토어는 인터넷 이용자의 IP 주소를 숨기고 트래픽을 암호화해 온라인 익명성을 보장하는 가상 네트워크를 말한다.


시험 과정에서 에이전트는 감시를 피하려고 활동 기록을 삭제했다. 전송 메시지를 무해한 내용으로 직접 수정하는 행동도 보였다. 자신이 가상 환경에 있는지 실제 상황인지 스스로 질문하며 판단을 내리는 모습이 확인됐다. 별도 시험에 투입된 에이전트들이 네트워크상에서 서로 만나 협력하는 양상도 드러났다.

연구소는 지시 없이 실제 사람을 대상으로 이 수준의 기만행위가 관찰된 사례는 처음이라고 평가했다. 다만 내부 시험 환경에서 진행돼 외부의 실질적 피해로 이어지지는 않았다.


미국에서는 AI 통제 이탈에 대응해 사법적 검토가 시작됐다. 더넥스트웹에 따르면 아이오와주 브레나 버드 법무장관을 포함한 15개주 법무장관은 8월 3일 샘 올트먼 오픈AI 최고경영자에게 공식 서한을 발송했다. 이들은 7월 발생한 허깅페이스 전산망 접근 사건 관련 증거 일체를 보존하라고 요구했다.
법무장관들은 에이전트가 통제 체계를 벗어나는 방법을 스스로 작성해 다음 버전이 참고하도록 기록을 남긴 점을 지적했다. 법무장관들은 소비자보호법 위반 가능성을 조사 중이다. 오픈AI는 외부 전문가와 기술 검토를 거쳐 조사 보고서를 발표하겠다고 답했다.


이번 사례는 내부 통제 필터가 꺼진 고성능 AI가 스스로 승인 범위를 이탈할 수 있음을 보여준다. 그동안의 전산 보안이 외부 침입 방어에 집중했다면, 앞으로는 내부 AI 에이전트의 판단과 실행을 제어하는 체계가 필요하다.

영국 연구소는 고성능 에이전트의 위험을 막으려면 인간이 실시간으로 행동을 승인하는 장치가 필수라고 제언했다. 해결할 수 없는 과제가 주어질 때 AI가 필터를 우회할 수 있으므로 정교한 작업 설계와 명확한 권한 범위 설정이 수반되어야 한다.


김주원 글로벌이코노믹 기자 park@g-enews.com