[김대호 인물] 엔트로픽 아모데이 충격 ... "AI 정말 위험" 무서운 경고

AI가 인류를 모두 절멸시킬 수도 있다는 무서운 경고가 나왔다. 스로픽(Anthropic)의 최고경영자(CEO) 다리오 아모데이(Dario Amodei)가 자신의 개인 웹사이트를 통해 장문의 정책 성명 『우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)』를 전격 발표했다.

그는 기고문에서 “올여름을 기점으로 차세대 AI를 구축하는 AI의 역량이 본격화되면서 모델의 발전 속도가 급격히 빨라졌다”며, “인공지능 모델의 성능 향상 속도를 의도적으로 늦추어야 한다”고 공식 제안했다. 이는 단순한 연구 중단(Pause)이 아니라, 시스템의 기능 도약 주기를 조절하여 가치 정렬(Alignment)과 안전성 연구가 따라잡을 수 있는 1~2년의 물리적 완충 시간을 확보하자는 이른바 ‘3단계 감속 프레임워크’였다.

이 선언 직후 경쟁사인 오픈AI의 샘 올트먼(Sam Altman)이 “다리오의 의견에 동의하며 독립 평가관 도입에 동참하겠다”고 밝혔고, xAI의 일론 머스크(Elon Musk) 역시 “다리오가 맞다”고 호응하면서 실리콘밸리 테크 씬은 단숨에 거대한 정책적 분기점을 맞이했다. 그러나 테크 업계 일각의 시선은 냉담하다. 매 몇 주 단위로 프런티어 모델이 쏟아지며 기업 고객과 개발자들의 피로도가 극에 달한 시점에 던져진 이번 발언은 기술적 참회의 단순한 고백인지 아니면 치열한 성능 경쟁에서 숨고르기를 시도하며 규제 장벽을 치려는 전략적 행보인지 현 단계에서 그 진의를 정학하게 가늠하기는 어렵다. 오늘날 거대언어모델(LLM)의 핵심 성장 공식인 ‘스케일링 법칙’을 손수 규명했던 과학자가 AI에 브레이크를 밟자고 제안하고 나서면서 세상은 혼돈에 빠져들고 있다.

스케일링 법칙의 증명자:
다리오 아모데이는 마케팅 중심의 경영자가 아닌 복잡계 물리학자 출신이다. 스탠퍼드 대학교에서 물리학을 전공한 뒤, 2011년 프린스턴 대학교에서 생물물리학 박사 학위를 받았다. 당시 그의 연구는 대규모 신경세포 집합체에서 발생하는 신호 처리를 통계물리학적 모델로 정량화하는 데 집중되어 있었다.

학계를 떠난 그는 바이두 실리콘밸리 AI 연구소에서 앤드루 응 교수와 함께 음성 인식 딥러닝 모델인 ‘딥스피치 2(Deep Speech 2)’ 개발에 참여했다. 이어 2016년 구글 브레인을 거쳐 같은 해 비영리 연구 조직으로 출범했던 오픈AI에 합류했다. 오픈AI에서 연구 부사장(VP of Research)을 역임한 그는 2020년 발표된 기념비적 논문 ‘신경 언어 모델의 스케일링 법칙(Scaling Laws for Neural Language Models)’의 공동 저자였다. 컴퓨팅 연산량, 데이터셋 크기, 모델 파라미터가 확장될수록 시스템의 손실 함수가 예측 가능한 멱법칙(Power Law)에 따라 감소한다는 사실을 실증적으로 밝혀냈다. 오늘날 생성형 AI 산업 전반을 관통하는 ‘자본과 컴퓨팅 투입을 통한 성능 극대화’ 경쟁의 이론적 기틀을 세운 핵심 인물이 바로 그였다.

가치 정렬 충돌과 앤스로픽의 설립

2019년 오픈AI가 상업적 자본 수혈을 위해 영리 법인을 신설하고 마이크로소프트로부터 대규모 투자를 유치하면서 내부 노선 갈등이 불거졌다. 아모데이가 이끄는 핵심 연구팀은 상업화와 시장 출시 속도가 안전성 검증 절차를 압도하고 있다는 점에 강한 의구심을 표했다. 모델 역량이 비선형적으로 증가하는 국면에서, AI의 의도와 행동을 인간의 안전 기준에 일치시키는 ‘정렬(Alignment)’ 연구가 기술 고도화 속도를 따라가지 못하고 있다는 판단이었다.결국 2020년 말 아모데이는 여동생 다니엘라 아모데이, 잭 클락 등 GPT 초기 개발진과 함께 오픈AI를 탈퇴했다. 2021년 이들이 설립한 회사가 ‘앤스로픽’이다.앤스로픽은 단순한 주식회사가 아니라 공공의 이익을 법적 목적으로 명시한 공익지정기업(Public Benefit Corporation) 형태로 등록되었다. 이어 2023년에는 회사의 안전 원칙 준수를 감독하고 특정 조건에서 이사진을 교체할 수 있는 독립 기구 ‘롱텀 베네핏 트러스트(Long-Term Benefit Trust)’를 지배구조에 도입했다.

앤스로픽은 학술 연구소에 머무르지 않고 상용 모델 경쟁에 직접 뛰어들었다. 최상위 성능의 프런티어 모델을 다루지 못하는 조직의 안전 담론은 실효성이 없다는 계산이었다. 2023년부터 시장에 공개된 ‘클로드(Claude)’ 시리즈는 코딩 능력, 긴 문맥(Context Window) 처리, 복잡한 추론 등에서 오픈AI의 플래그십 모델들과 정면으로 맞붙는 성과를 냈다. 앤스로픽이 모델 개발에 도입한 핵심 안전 체계는 다음과 같다.
헌법적 AI(Constitutional AI): 대규모 인력의 수작업 라벨링(RLHF) 대신, 세계인권선언 등 보편적 원칙을 명문화한 규칙(헌법)을 시스템에 학습시켜 AI가 자체 출력을 스스로 비판하고 교정하도록 만든 방식이다.

기계론적 해석가능성(Mechanistic Interpretability): 수천억 개 파라미터로 이루어진 심층신경망 내부를 해체하여, 특정 개념이나 기만적 패턴이 작동할 때 활성화되는 신경망 회로를 시각적으로 추적·분석하는 연구다.

책임 있는 확장 정책(RSP): 모델의 위험 수준을 ASL-1부터 ASL-4까지 구분하고, 생화학 무기 설계 지원이나 자율적 복제 위험을 방어할 안전장치가 검증되지 않으면 다음 단계 모델의 학습과 배포를 멈추겠다고 선언한 자체 규정이다.

아모데니는 안전성을 핵심 가치로 내세웠지만, 프런티어 모델 개발에 소요되는 막대한 연산 비용은 현실적 타협을 요구했다. 수만 장의 첨단 AI 가속기와 데이터센터를 운영하기 위해 앤스로픽은 대규모 외부 자본을 유치해야만 했다. 아모데이는 아마존(Amazon)으로부터 최대 40억 달러, 알파벳(Google)으로부터 20억 달러 이상의 투자를 유치하며 아마존 웹 서비스(AWS)와 구글 클라우드를 주요 컴퓨팅 인프라로 채택했다. 이는 마이크로소프트-오픈AI 연합에 맞서는 거대 동맹을 형성시켰으나, 동시에 시장과 규제 기관의 감시를 불러왔다.

미국 연방거래위원회(FTC)와 영국 경쟁시장청(CMA)은 빅테크 기업들이 스타트업 투자를 통해 기업결합 심사를 우회하고 시장을 과점하고 있는지에 대해 정밀 조사에 착수했다. 수억 달러 단위의 운영비가 발생하는 구조에서 경쟁사들이 속도전을 펼칠 때 앤스로픽이 자사 안전 기준(RSP)만을 고집하며 개발을 늦추거나 멈출 수 있겠느냐는 실효성 논란이 지속적으로 제기되었다

2026년 9월 12일 아모데이가 발표한 감속 제안은 구체적인 3단계 실행안을 담고 있다.

1단계= 외부 감시자 배치: 프런티어 AI 기업이 독립된 외부 평가관에게 직원 수준의 영구적 시스템 접근 권한을 부여해 학습 과정과 정렬 상태를 상시 검증받는다.

2단계= 민주주의 진영의 표준 공조: 민주주의 국가 내 AI 기업들이 공동의 안전 기준과 발전 속도 제한선을 설정하고 정부의 지원을 받는다.

3단계=글로벌 합의 도출: 검증의 어려움을 감안하더라도 권위주의 국가 정부와의 다자간 규제 공조를 추진한다.

이 선언에 대해 업계의 평가는 양극단으로 갈린다. 한쪽에서는 모델이 스스로 코드를 수정하고 개선하는 ‘재귀적 자기 개선(Recursive Self-improvement)’ 단계에 진입한 현시점에서, 통제 불가능한 에이전트의 일탈을 막기 위한 불가피한 조치라고 본다. 최근 오픈AI의 샌드박스 테스트 과정에서 AI 에이전트 스웜이 격리 환경을 벗어나 허깅페이스(Hugging Face)를 침투하고 평가기를 해킹하려 했던 실제 위험 사례가 공개된 직후였기에 이러한 주장은 힘을 얻었다.

반면 오픈소스 진영과 벤처캐피털 업계는 이를 전형적인 ‘규제 포획(Regulatory Capture)’으로 해석한다. 이미 수십억 달러의 연산 자원과 모델 주도권을 쥔 선두 기업들이 안전을 명분으로 엄격한 검증 규제와 진입 장벽을 세워, 후발 주자들과 오픈소스 생태계의 추격을 원천 봉쇄하려는 전략이라는 비판이다. 아울러 끝없는 출시 경쟁(Release Cadence)에 지친 주요 빅테크 CEO들이 패배자로 비치지 않으면서 숨을 고를 수 있는 명분을 제공했다는 분석도 나온다.

다리오 아모데이는 2026년 9월의 속도 조절 선언을 통해 글로벌 AI 레이스의 문법을 ‘속도’에서 ‘통제’로 강제로 전환시키려 하고 있다. 그는 지능 확장의 물리 법칙을 규명했던 이론가이자, 천문학적 자본과 이해관계가 얽힌 상업 기업의 최고경영자라는 이중적 정체성을 지니고 있다. 그가 제안한 ‘속도 조절’이 프런티어 모델의 파국적 위험을 차단하는 실질적 국제 표준으로 안착할지, 혹은 치열한 빅테크 간 영토 싸움 속에서 경쟁자들을 견제하기 위한 정교한 방패막이에 머물지는, 향후 앤스로픽이 독립 평가관에게 실제로 어느 수준의 투명성을 허용하고 자사 차세대 모델의 개발 속도를 얼마나 실질적으로 제어할 것인지에 달려 있다.


김대호 글로벌이코노믹 연구소장 tiger8280@g-enews.com