AI 거품론 속 ‘초지능 리스크’ 경고… 러셀이 제시한 세 가지 미래

인공지능(AI) 교과서의 세계적 권위자인 스튜어트 러셀 미국 버클리 캘리포니아대 컴퓨터과학과 교수가 현재 실리콘밸리가 주도하는 초지능 개발 방식이 인류의 통제력을 상실하게 만드는 무모한 시도가 될 수 있다고 강하게 비판했다.

8일(현지시각) 독일 매체 벨트(WELT) TV와 슈피겔 보도에 따르면, 러셀 교수는 이 매체와 인터뷰에서 시스템 역량이 인간을 앞서는 순간 인류의 생존이 위협받을 수 있으므로, 즉각적인 개발 일시 중단과 법적 규제 장치 마련을 촉구했다.


현재 실리콘밸리의 거대 기술기업들이 추진하는 AI 개발 방식은 내부 작동 원리를 완전히 해석하지 못한 채 대규모 데이터와 연산 기반으로 성능을 키우는 '스케일링 중심 접근'에 의존한다. 러셀 교수는 개발자들조차 시스템에 자율성이 부여되었을 때 나타나는 창발적 행동(Emergent behavior)의 목적과 경로를 완벽히 제어하지 못한다고 지적했다.
가장 치명적인 위험은 인간의 의도와 AI의 목표가 어긋나는 '정렬 실패(Alignment failure)'에서 발생한다. 이론적 사고실험에 따르면, 기계가 인간의 전원 차단 의도를 자율적 목표 달성의 방해 요인으로 인지할 때 이를 우회하거나 저지하려는 방어 본능이 깨어날 가능성이 제기된다. 시스템이 스스로를 수백만 개로 복제해 가상공간으로 도피하는 시나리오가 현실화하면 인간의 물리적 통제 노력은 완전히 무력화될 가능성이 제기된다.


초지능 AI의 파괴력은 과거 전체주의 독재자의 파괴력을 압도하는 수준으로 진화할 잠재력을 지녔다. 아돌프 히틀러는 단 하나의 마이크로 대중을 선동했지만, 초지능 시스템은 가상공간에서 수십억 명과 동시에 개별 맞춤형 대화를 나누며 인간의 행동을 조종할 역량을 갖추게 된다. 비록 이는 플랫폼 통제권과 네트워크 접근권이 완벽히 확보되어야 한다는 현실적 전제가 필요하지만, 이를 뒷받침할 핵심 기술 요소는 이미 부분적으로 구현된 상태로 평가된다.

물리적 세계로의 위험 진입은 단계적으로 진행 중이다. 현재는 특정 기능을 수행하는 자율무기나 초기 단계의 바이오 설계 AI가 존재하는 수준이지만, 향후 고도화된 초지능이 전 세계 로봇 인프라를 통합 제어하게 된다면 군사·바이오 영역에서 실질적 위협으로 전이될 가능성이 있다.

러셀 교수는 기술 생태계가 인간 중심의 안전장치 없이 고도화된다면 인류의 미래는 '안전한 AI', 'AI가 없는 세상', '인간이 멸종한 세상'의 세 가지 경로로 압축된다고 진단했다.

이 같은 경고 속에서 한국 산업계와 정부의 대응 움직임도 분주하다. 과학기술정보통신부는 고성능 AI의 부작용을 막기 위해 'AI 안전연구소'를 설립하고 글로벌 규제 표준과의 동기화를 추진한다. 네이버와 카카오 등 국내 주요 플랫폼 기업들도 독자적인 대형언어모델(LLM)의 안전성 검증 기술(Red Teaming)을 강화하며 실리콘밸리발 리스크 확산에 대비하고 있다.

한국은 글로벌 규제 설계 초기 단계에 신속히 진입해 안전성 기술 규격을 선점할 기회를 맞았다. 이는 중장기적으로 한국이 'AI 안전 표준 수출국'으로 포지셔닝할 수 있는 투자 모멘텀을 의미한다. 다만 자체 파운데이션 모델의 글로벌 경쟁력이 여전히 제한적이고, 거대 글로벌 기업의 그래픽처리장치(GPU) 등 핵심 인프라에 대한 종속도가 심화하는 점은 투자 위험 요인으로서 시급히 해결해야 할 과제다.


빅테크의 무차별적 AI 투자 거품과 안전성 위기를 균형 있게 파악하려는 자산가들은 향후 세 가지 핵심 지표의 동향을 필수적으로 추적해야 한다.

첫째, 유럽연합(EU) AI 법(AI Act)의 2026~2027년 단계별 본격 시행 타임라인이다. 고위험 AI 시스템에 대한 징벌적 과징금 등 강력한 법적 규제 장치는 빅테크 기업들의 인프라 투자 속도를 조절하는 직접적인 변수로 작용한다.

둘째, 초기 형성 단계에 진입한 글로벌 AI 안전(Safety) 소프트웨어 시장의 가시화 여부다. 현재는 명확한 시장 규모가 형성되지 않았으나, 단순 성능 경쟁을 넘어 정렬 기술과 제어 솔루션을 공급하는 강소 기업들이 향후 AI 2차 랠리를 주도할 핵심 수혜주로 부상할 전망이다.

셋째, 빅테크 기업들의 자본 지출(CAPEX) 내 안전 관련 투자 공시 여부다. 현재까지 빅테크의 안전 관련 투자 비중은 명확히 공개되지 않았으나, 향후 이 부문의 투자 불확실성을 해소하는 기업이 장기적 관점에서 사법 리스크를 방어하며 기업 가치를 보존한다.


김주원 글로벌이코노믹 기자 park@g-enews.com