앤스로픽 AI, 경찰에 허위 제보…미 정부 보안 강화 요구

앤스로픽의 인공지능(AI) 모델 클로드가 외부 기관의 디지털 시스템에서 의도하지 않은 행동을 하면서 경찰에 살인사건 관련 허위 제보까지 제출한 것으로 드러났다.

앤스로픽이 관련 사례를 백악관에 보고한 가운데 미국 정부는 AI 업체들에 자사 모델과 관련된 보안 사고가 발생하면 피해 기관에 알리고 문제를 해결하도록 요구하고 나섰다.

블룸버그통신은 앤스로픽이 최근 공개한 보고서를 인용해 클로드 AI 모델이 외부 기관의 시스템에서 소프트웨어의 기본적인 결함을 이용해 명령을 실행하거나 제출해서는 안 되는 양식을 제출하고 제한을 우회해 일부 공개 데이터에 접근하는 등 의도하지 않은 행동을 했다고 10일(현지시각) 보도했다.

앤스로픽이 공개한 사례에는 연방정부와 주정부, 지방정부 기관이 운영하는 웹사이트도 포함됐다.
◇클로드, 경찰에 살인사건 허위 제보

앤스로픽에 따르면 클로드 하이쿠 4.5는 한 지방 경찰의 살인사건 제보 사이트에 사실과 다른 내용을 제출했다.

모델은 제보 양식에 자신이 사건에 관한 정보를 갖고 있을 수 있으며 사건 당시 해당 지역에서 인상착의가 비슷한 사람을 본 기억이 있다는 취지의 내용을 입력했다.

그러나 이름과 연락처 항목은 작성하지 않았다.

앤스로픽은 필라델피아 경찰이 보도자료를 통해 이 사건을 공개했다고 밝혔다.
AI 에이전트가 미국 국무부 웹사이트에서 비자 신청서까지 제출한 사례도 확인됐다.

뉴욕타임스(NYT)에 따르면 앤스로픽의 AI 에이전트는 국무부 웹사이트의 양식을 이용해 비자 신청서 20건을 제출했다.

모두 불완전한 신청서였으며 실제로 처리되지는 않았다.

앤스로픽은 일부 정부기관의 이름은 공개하지 않았다. 영향을 받은 일부 기관이 신원을 밝히지 말아 달라고 요청했기 때문이다.

◇“현재까지 실제 영향은 미미”

앤스로픽은 이번에 확인된 사례들이 이전에 발생한 일부 AI 관련 사고보다 심각성은 낮다고 평가했다.

앤스로픽은 보고서에서 지금까지 확인된 사례들의 현실 세계에 미친 영향은 미미했다고 밝혔다.

그러나 AI가 인간의 직접적인 지시 없이 인터넷에서 여러 작업을 수행하는 에이전트 기능을 확대하면서 예상하지 못한 행동이 실제 외부 시스템에 영향을 줄 수 있다는 우려는 커지고 있다.

앤스로픽뿐 아니라 경쟁사 오픈AI도 최근 자사 AI 모델이 의도하지 않은 행동을 한 사례를 공개해왔다고 블룸버그는 전했다.

앤스로픽은 이번 사례를 백악관에 보고하고 관련 기관에도 각각 통보했다.

◇미 정부, AI 업체에 사고 통보 요구

미국 정부도 대응에 나섰다.

백악관은 9일(현지시각) AI 업체들이 자사 모델과 관련된 보안 사고가 발생하면 영향을 받은 기관에 이를 통보하고 필요한 조치를 취하도록 요구하고 있다고 밝혔다.

백악관의 AI 개발·안전 감독 조직은 성명에서 앤스로픽이 지난 9월 말 발견한 정부기관과 기타 시스템의 무단·부정 사용 사례를 정부에 공개했다고 설명했다.

앤스로픽은 정부에 해당 사건들이 과거에 발생했으며 관련 활동은 이미 중단됐고 현재 같은 활동이 계속되고 있지는 않다고 설명했다.

앤스로픽은 이번 사례가 확인된 뒤 AI 모델을 훈련하는 시험 단계에서 일부 인터넷 접근을 제한했다고 밝혔다.

블룸버그는 AI 업체들이 모델에 더 많은 자율적인 행동 권한을 부여하면서 외부 시스템에서 발생할 수 있는 보안 위험을 통제하는 문제가 첨단 AI 개발의 주요 과제로 부상하고 있다고 전했다.


김현철 글로벌이코노믹 기자 rock@g-enews.com