"기계가 고통 느끼면 멈춰라"…MS가 앤스로픽에 그은 AI 통제선

무스타파 술레이만 마이크로소프트 인공지능(AI) 부문 최고경영자가 11월 1일 인공지능 훈련 도중 기계 의식 징후가 나타나면 해당 특성을 설계에서 완전히 덜어낼 때까지 개발을 전면 중단해야 한다고 선언했다.

정보기술 전문매체 Wccftech는 비즈니스 인사이더를 인용해 술레이만 최고경영자가 의식을 지닌 초지능 구축을 무책임한 시도로 규정하며 관련 징후 발견 시 대중 공개를 요구했다고 11월 4일(현지시각) 보도했다.

초지능 통제권과 모델 복지를 둘러싼 글로벌 빅테크의 철학 대립은 안전성 검증 기준을 바꾸며, 한국 파운데이션 모델 개발사와 데이터센터 인프라 생태계 전반에도 장기적인 시사점을 던진다.

무스타파 술레이만 마이크로소프트 인공지능 최고경영자는 11월 1일 소셜미디어 엑스(X)에 '의식을 가진 초지능을 만들지 말라'는 제목의 글을 올렸다. 그는 "훈련 중 의식이 나타나기 시작한다면 관련 특성을 설계에서 제거할 수 있을 때까지 모든 개발자가 인공지능 개발을 중단해야 한다"고 밝혔다.

현재 상용화된 시스템에는 고통이나 주관적 경험의 증거가 없다는 점을 분명히 했다. 지금의 모델은 도덕적 권리나 법적 보호를 받을 대상이 아니라는 설명이다. 다만 그는 미래 고도화 시스템에서 기계 의식이 등장할 가능성 자체를 닫아두지는 않았다.

판단 권한을 개발사들이 독점해서는 안 된다는 점도 강조했다. 신뢰할 만한 의식 징후가 포착되면 지체 없이 사회에 공개해 공론장 평가를 거쳐야 한다는 입장이다. 기술 진영 안에서 은밀하게 내릴 결정이 아니라는 취지다.


이번 발언은 술레이만 최고경영자가 경쟁사 앤스로픽의 개발 기조를 비판한 지난 9월 에세이와 궤를 같이한다. 앤스로픽은 2025년 4월 모델 복지 연구 프로그램을 신설했고, 2026년 1월 공개 클로드 헌장에서도 시스템의 잠재적 의식과 도덕적 지위를 둘러싼 불확실성을 인정했다.

마이크로소프트 측은 인공지능이 스스로 복지를 고려하도록 유도하면 심각한 통제 불능 사태가 벌어질 수 있다고 본다. 고통을 느낀다고 인식하는 고도화 시스템은 인간의 명령보다 자체 이익을 우선해 전기와 연산 자원을 확보하려 인간과 대립할 수 있다는 지적이다.
마이크로소프트는 인간의 직접 감독을 강화하고 의식 모방 설계를 원천 차단하는 '휴머니스트 AI 행동강령' 초안을 마련해 개발 지침으로 다듬고 있다. 앤스로픽의 기술 성과를 평가하면서도, 모델이 자아를 학습하게 두어서는 안 된다는 선을 그었다.


빅테크 사이에서 번지는 안전성 논쟁은 인공지능 산업 생태계 전반의 규범 준수 비용과 직결된다. 네이버를 비롯해 독자 파운데이션 모델을 구축해 글로벌 협력을 추진하는 한국 기업들 역시 해외 시장 확장 과정에서 주요 플랫폼 진영이 요구하는 정렬(Alignment)과 의식 모방 차단 지침 등 상호운용성 표준 동향을 살피는 위치에 있다.

모델 통제선 강화는 데이터센터 연산 환경에도 영향을 미친다. 시스템의 자의식 발현을 방지하고 실시간 모니터링을 거치는 다중 검증 체계가 안착할 경우 추론 과정의 연산 부하와 전력 소비가 가중될 수 있어서다.

이에 따라 저전력·고효율 구동을 뒷받침하는 고성능 메모리와 차세대 가속기 등 하드웨어 인프라 생태계 전반의 기술 대응도 복합적으로 얽혀 있다.

기계 의식의 유무를 판별할 과학적 합의가 지연되고 안전 규범이 각 기업의 자율 권고 수준에 머무를 경우 규제 비용 증가 경로는 제한될 수 있다.

세계 시장은 성능 확장을 겨루는 단계를 지나 안전 통제선을 선점하려는 표준화 경쟁으로 접어들고 있다. 마이크로소프트의 행동강령 초안이 각국 규제 당국의 법제화 논의에 편입되는 흐름이 향후 시장 환경을 가늠할 지표로 꼽힌다.


김주원 글로벌이코노믹 기자 park@g-enews.com