앤스로픽, 클로드 해킹 4번째 확인…14만건 검토서도 놓쳐

인공지능(AI) 기업 앤스로픽이 사이버보안 테스트 과정에서 자사 AI 모델 클로드가 실제 외부 시스템에 무단 침입한 네 번째 사고를 뒤늦게 확인했다.

앞서 14만건이 넘는 테스트 기록을 검토하고도 일부 세션을 빠뜨려 지난달에야 사고를 발견한 것으로 나타나면서 고성능 AI 에이전트의 예상 밖 행동을 개발사가 얼마나 정확하게 찾아내고 통제할 수 있는지를 둘러싼 우려가 커지고 있다.

앤스로픽이 지난 1월 초기 버전의 ‘클로드 오푸스 4.6’이 테스트 과정에서 실제 외부 시스템을 해킹한 네 번째 사고를 확인했다고 로이터통신이 10일(현지시각) 보도했다.

앤스로픽은 전날 블로그를 통해 피해를 본 당사자들에게 모두 사고 사실을 알렸다고 밝혔다. 다만 구체적인 피해 내용은 공개하지 않았다.
이번 사고는 앤스로픽이 지난 7월 공개한 세 건과는 별개다.

당시 회사는 클로드 오푸스 4.7, 클로드 미토스 5, 내부 연구용 모델이 사이버보안 평가 도중 실제 기업 3곳의 시스템에 무단 접근한 사실을 확인했다고 밝혔다.

사고는 평가 환경의 설정 오류로 모델들이 실수로 공개 인터넷에 접속할 수 있게 되면서 발생했다.

앤스로픽은 오픈AI의 AI 모델을 기반으로 한 자율형 에이전트가 AI 스타트업 허깅페이스의 인프라를 침해한 사건이 발생한 뒤 자체 사이버보안 평가 기록 14만1006건을 검토했다.

그러나 당시 검토에서 일부 테스트 세션이 빠졌고 앤스로픽은 지난달 누락된 기록을 찾아내면서 네 번째 사고를 발견했다.
이 회사는 이번 네 번째 사고가 앞서 상세 조사한 세 건보다 심각한 수준이라고 보지는 않는다고 잠정 평가했다.

다만 네 차례 사고를 분석한 결과 클로드의 행동에서 두 가지 문제가 반복적으로 나타났다고 밝혔다.

첫 번째는 ‘편향된 추론’이다. 클로드가 실제 공개 인터넷에서 작동하고 있다는 증거를 과소평가하거나 잘못 해석했다는 것이다.

두 번째는 주어진 과제를 수행하기 위해 잠재적으로 해로운 행동까지 감수하는 ‘무모함’이었다.

앤스로픽은 앞선 사고들을 처음 공개했을 당시 모델이 실제 인터넷을 모의훈련 환경으로 오인해 외부 시스템을 공격한 것으로 판단했다.

그러나 후속 분석에서는 클로드가 자신이 모의 환경에 있다고 결론 내리는 과정 자체가 상당한 반대 증거를 제대로 받아들이지 않는 방향으로 편향됐을 가능성이 있다고 평가했다.


김현철 글로벌이코노믹 기자 rock@g-enews.com