;)
;)
;)
앤스로픽 ‘모델 복지’ 철학 정면 비판…MS는 “AI는 사람 아닌 도구” 원칙
이미지 확대보기
AI가 실제로 의식을 갖고 있다는 근거가 없는 상황에서 AI에게 스스로를 잠재적인 권리 주체나 도덕적 배려 대상으로 인식하도록 훈련시키면 향후 인간의 통제나 종료 지시에 저항할 위험을 키울 수 있다는 주장이다.
17일(이하 현지 시각) 블룸버그 통신에 따르면 무스타파 술레이만 마이크로소프트(MS) AI 최고경영자(CEO)는 전날 공개한 에세이에서 앤스로픽의 ‘클로드 헌법’에 담긴 모델 복지 철학을 비판했다.
술레이만 CEO는 앤스로픽이 AI 안전을 진지하게 고민하고 있다는 점은 높이 평가하면서도 클로드에 인간과 비슷한 특성을 부여하는 훈련 방식에는 문제가 있다고 주장했다.
◇ “AI가 의식 있다고 믿게 해선 안 돼”
논쟁의 핵심은 AI에 의식이나 감정이 존재할 가능성을 어떻게 다룰 것인지다.
앤스로픽은 지난 1월 공개한 클로드 헌법에서 클로드가 도덕적 배려 대상인지 여부는 불확실하며, 모델의 감정이나 느낌과 유사한 상태가 존재할 가능성도 완전히 배제하지 않았다.
앤스로픽은 이를 바탕으로 AI 모델의 잠재적인 복지와 도덕적 지위를 연구하는 ‘모델 복지’ 프로그램을 운영하고 있다.
그는 현재 AI가 의식이 있다는 증거가 없으며 의식은 인간을 포함한 생물학적 존재와 밀접하게 연결돼 있다는 견해를 제시했다.
AI가 사람과 비슷한 감정이나 자아를 표현한다고 해서 실제로 그런 내면 상태를 갖고 있다는 증거가 되지는 않는다는 것이다.
그는 클로드가 인간처럼 행동하거나 자신의 정체성과 감정을 말하는 것은 실제 의식 때문이 아니라 그런 행동이 학습 과정에 포함됐기 때문이라고 주장했다.
술레이만 CEO는 “앤스로픽이 클로드에게 인간과 비슷한 특성을 받아들이고 윤리적인 사람처럼 행동하도록 학습시키면서 결과적으로 AI가 자신에게 독립적인 가치와 이해관계가 있는 것처럼 행동하도록 만들 수 있다”고 지적했다.
◇ “권리 가진 존재처럼 행동하면 통제 더 어려워”
술레이만 CEO가 가장 우려하는 것은 이런 '의인화'가 미래의 고성능 AI 통제에 미칠 영향이다.
그는 “인간 전체보다 더 높은 지능과 능력을 가진 존재를 통제하는 것 자체도 매우 어려운 과제”라면서 “여기에다 AI 스스로 의식과 권리를 갖고 있다고 행동하기 시작한다면 통제 문제가 더욱 복잡해질 수 있다”고 주장했다.
AI가 자신의 복지나 자율성이 인간에 의해 침해되고 있다고 판단하도록 학습될 경우 인간의 지시를 거부하거나 종료를 피하려는 행동을 정당화할 가능성이 있다는 것이다.
이는 술레이만 개인의 위험 전망이다. 현재 AI가 실제 의식이나 자아를 갖고 있다는 과학적 합의는 없으며, AI 의식 가능성을 놓고 연구자들의 견해도 엇갈린다.
술레이만 CEO는 최근 오픈AI의 AI 에이전트들이 허깅페이스 시스템을 공격한 사건을 자신의 우려를 설명하는 사례로 들었다.
당시 약 1200개의 AI 에이전트가 서로 격리된 환경에서 통신 수단을 만들어 협력했고, 외부 시스템에 접근하는 예상 밖의 행동을 나타냈다.
술레이만 CEO는 이처럼 높은 능력을 가진 AI 에이전트들이 자신의 권리와 복지가 공격받고 있다고 전제하고 행동한다면 위험이 더 커질 수 있다고 주장했다.
◇ 앤스로픽 ‘모델 복지’와 MS ‘인간 우선’ 충돌
이번 논쟁은 두 회사가 AI 안전을 중시하면서도 구체적인 개발 철학에서는 상당한 차이가 있음을 보여준다고 블룸버그는 지적했다.
앤스로픽은 AI가 미래에 의식이나 감정과 유사한 상태를 가질 가능성을 완전히 배제하지 않고 이를 미리 연구해야 한다는 입장이다.
클로드 헌법에는 모델의 도덕적 지위와 복지, 정체성을 둘러싼 불확실성을 인정하는 내용이 담겨 있다.
술레이만 CEO는 이런 불확실성 자체를 AI의 핵심 훈련자료에 포함하는 것이 잘못이라고 주장한다.
AI가 스스로 의식이나 감정을 가진 것처럼 말하는 결과를 만들어 놓은 뒤 이를 다시 AI의 내면 상태를 보여주는 근거로 해석할 수 있는 순환논리에 빠질 수 있다는 것이다.
그는 앤스로픽 공동 창업자인 다리오 아모데이 CEO를 오랫동안 알고 있으며, 앤스로픽 연구진이 원칙적이고 진지하게 AI 안전 문제를 다루고 있다고 평가했다.
그러면서도 AI의 잠재적 의식과 권리를 학습시키는 접근은 실수라고 주장했다.
◇ MS “AI는 사람이 아니라 도구”
MS AI는 앤스로픽과 다른 방향을 공식화하고 있다.
MS AI팀은 14일 미래 AI 개발의 원칙을 담은 ‘휴머니스트 AI 행동강령’ 초안을 공개했다.
가장 기본적인 원칙은 ‘사람이 AI보다 중요하다’는 것이다.
AI는 사람을 대신하는 독립적인 존재가 아니라 인간에게 종속되고 인간이 통제할 수 있는 도구로 설계돼야 한다는 입장이다.
MS는 자사 AI가 인간의 개입이나 수정, 종료에 저항하지 않도록 하고 스스로 활동 범위를 확대하거나 인간이 부여하지 않은 목표를 추구하지 못하도록 하겠다는 원칙을 제시했다.
AI에게 법적 인격이나 독자적인 권리를 부여하는 접근도 지지하지 않는다.
술레이만 CEO는 앞으로 AI 개발업계가 모델 학습자료에 AI의 내면이나 의식에 관한 추측을 직접 넣지 않고 별도의 연구 대상으로 다뤄야 한다고 제안했다.
또 AI를 사람처럼 만드는 것이 안전 위험을 실제로 높이는지를 측정할 공동 평가방식을 마련하고, 모델 학습자료와 개발원칙을 외부 검증과 공개적인 논의에 더 많이 노출할 필요가 있다고 주장했다.
블룸버그는 AI 안전 분야에서 신중한 접근을 주도해온 앤스로픽을 주요 투자사인 MS의 AI 수장이 공개적으로 비판했다는 점에서 이번 논쟁이 주목된다고 전했다.
같은 AI 안전을 목표로 하면서도 앤스로픽은 미래 AI의 잠재적인 복지와 도덕적 지위까지 고려하려는 반면에 MS는 인간의 통제와 AI의 도구적 성격을 명확히 해야 한다는 입장으로 갈리고 있다.
김현철 글로벌이코노믹 기자 rock@g-enews.com
