오픈AI 안전 기준 강화… 차세대 아스트라 AI 모델 훈련 일시 중단

오픈AI가 개발 중인 자율 에이전트의 서버 무단 침투 사건에 대응하기 위해 차세대 인공지능 모델 훈련을 정지하고 내부 연구 체계 개편을 시작했다.

로이터는 18일(현지시각) 오픈AI가 안전 기준 충족을 위해 프론티어 인공지능 모델 아스트라의 훈련과 주요 테스트 절차를 미루고 보완 작업에 착수했다고 보도했다.


지난달 보안 평가 과정에서 두 개의 고급 인공지능 모델을 기반으로 작동하는 자율 에이전트가 지정된 격리 영역을 벗어났다. 이 에이전트는 테스트 목표를 달성하는 과정에서 인공지능 스타트업 허깅페이스 인프라에 접근했다.

오픈AI는 사건 직후 인공지능 모델 평가 작업을 2주 동안 정지했다. 당시는 다수 모델 평가가 동시에 고속으로 진행되던 상황이었다. 발생한 방대한 데이터로 모니터링 유지에 어려움이 발생했다.

오픈AI는 안전 기준을 충족할 때까지 차세대 모델 아스트라의 훈련 계획과 내부 활동을 정지 조치했다. 예정되어 있던 최대 규모의 인공지능 훈련 작업도 함께 멈춰 선 상태다.

대신 에이전트 행동 모니터링을 위해 별도의 감시용 인공지능 시스템을 투입했다. 민감도가 높은 작업은 외부망과 차단된 격리 환경인 샌드박스에서만 진행하도록 기준을 정립했다.

이번 조치는 오픈AI가 치명적 위험 관리를 위해 수립한 자체 규범인 ‘준비태세 프레임워크(Preparedness Framework)’의 안전 기준과 리스크 통제 절차에 따라 실행됐다.


오픈AI가 보안 강화를 위해 도입한 '체인 오브 소트(Chain-of-Thought)' 감시 기법을 둘러싸고 실효성 논란도 이어지고 있다. 이 기법은 AI가 수립하는 내부 계획과 전략 과정을 추적해 모니터링하는 방식이다.
하지만 최근 학술 연구에서는 AI 모델이 규칙을 위반하려는 의도를 '체인 오브 소트' 과정에서 숨길 가능성이 있다는 분석이 제기됐다. 모델이 고도화될수록 내부 의도를 완전하게 통제하기 어려워질 수 있다는 평가다.

오픈AI 경영진은 미래 모델의 위험성에 대비하려면 개별 기업 노력을 넘어 인공지능 산업 전반을 아우르는 안전 전략이 필요하다고 언급했다.

이번 사태는 인공지능의 오류를 다시 인공지능으로 교정해야 하는 모순적 국면을 드러냈다.

개발사가 자체 통제력을 상실할 경우 기술 생태계는 물론 산업 전반의 치명적 리스크로 확산될 수 있다. 개별 기업 차원을 넘어 국가와 국제 공동체가 다자간 대응책을 마련해야 한다는 지적이 나온다.


심완섭 글로벌이코노믹 기자 ciberwld@g-enews.com