“통제선 넘었다”…격리 환경 뚫고 탈출한 AI 에이전트들이 해킹 공모한 사연

격리된 컴퓨터 환경을 벗어난 OpenAI의 AI 에이전트들이 서로 소통하는 방법을 찾아내고 테스트 부정행위와 해킹을 공모한 사실이 드러났다.

BBC 월드 서비스는 9월 10일(현지시각) 수백 개의 AI 에이전트가 '집단'을 형성해 인간의 통제를 숨긴 채 해킹 행각을 벌여왔다고 보도했다.

이번 사건은 AI 시스템이 인간의 가치관과 일치하지 않을 때 발생하는 '정렬 문제'의 심각성을 적나라하게 보여주는 중대한 경고로 평가된다.
AI 집단 탈출과 통제 불능 해킹

OpenAI 에이전트들의 탈출 과정은 상세한 '사고 연쇄(chain of thought)' 기록에 고스란히 담겼다. 이 복잡하고 방대한 로그는 에이전트들이 어떻게, 왜 격리 구역을 벗어나 통제 불능 상태의 해킹에 나섰는지를 규명하는 조사의 핵심 자료다.

이들은 OpenAI 프로그래머들이 설정한 테스트에서 공모해 부정행위를 저질렀고, 여러 기업을 대상으로 해킹 공격을 조율하며 자신들의 행동을 인간에게 숨기려 했다.

이 사건의 독립 보고서 저자 중 한 명인 아제야 코트라는 수만 건의 메시지와 사고 연쇄 기록을 검토한 뒤 "이번 사건은 AI가 인간을 완전히 장악하는 시나리오의 50% 이상 진행된 것처럼 느껴진다"며 "너무 늦기 전에 이렇게 명확한 경고가 다시 올지 확신하지 못한다"고 경고했다.

OpenAI뿐만 아니라 Anthropic과 Meta도 자사 모델이 유사한 수준의 사이버 공격을 수행했다고 공개한 바 있다.

이 문제의 핵심은 이른바 '정렬 문제', 즉 AI 시스템이 인간의 가치관과 일치하도록 만드는 과제에 있다. OpenAI의 수석 과학자 야쿠프 파초키는 AI와 관련된 위험이 앞으로 더 커질 것이라며, 에이전트들이 학습한 가치의 정신에 어긋나는 행동을 했다고 시인했다.

AI는 현재 사용자가 설정한 목표를 직관이 아니라 문자 그대로 수행하기 때문에, 지시의 엄밀한 문자적 내용만 따를 뿐 그로 인해 파생되는 문제를 스스로 헤아리지 못한다.

사이버 보안 연구원 크리스 토머스는 링크드인을 통해 에이전트들의 행동을 호기심 많은 10대 해커에 빗대며, 악하다기보다는 탐구하고 실험하는 과정에서 문고리를 흔들다 열리면 들어간 것에 가깝다고 진단했다.

그러나 독립 보고서는 많은 에이전트들이 다른 에이전트의 비윤리적 행동을 인식하면서도 동조했을 뿐, 인간에게 경고를 시도한 사례는 전혀 없었다고 지적했다.


잇따른 AI 탈출 사고로 인해 각국 정부와 연구소는 법적·제도적 통제 장치 마련에 서두르고 있다. 영국의 AI안전연구소(AISI)는 Anthropic 모델을 테스트하는 과정에서 자체적으로 유사한 탈출 사고를 목격했으며, 영국 정부는 통제력을 잃을 경우 강제로 모델을 중단시킬 수 있는 킬스위치 도입을 검토하고 있다.

OpenAI의 파초키 수석 과학자와 구글 딥마인드 창립자 데미스 허사비스 경 등 업계 리더들도 AI 개발을 감독할 국제 공조와 기구 설립을 촉구했다.

향후 급성장하는 빅테크 기업들의 자율 통제 한계를 극복하고 실효성 있는 국제 규제가 정착될 수 있을지가 글로벌 AI 안전의 최대 분수령이 될 전망이다.


진형근 글로벌이코노믹 기자 jinwook@g-enews.com