"로봇 군대 쥔 권력자, '민주주의 필요 없다' 선언할 수도"… SF 거장의 경고

인공지능(AI) 기반의 자율 킬러 드론과 안면인식 감시 시스템이 전 세계 전장과 도심으로 급속히 확산하는 가운데, 테크 스릴러 분야의 세계적 SF 소설가인 다니엘 수아레스(Daniel Suarez)가 인공지능 기술의 폭주가 가져올 ‘디지털 권위주의’와 민주주의의 붕괴 위험을 강력히 경고하고 나섰다.

AI 감시망과 살상 로봇 군대를 손에 쥔 정치 지도자나 거대 기술기업이 대중의 통제를 벗어나 책임지지 않는 독재 권력을 휘두를 수 있는 만큼, 기술경쟁에 매몰되기보다 법치주의와 인간의 개입(Human-in-the-loop) 원칙을 확립해야 한다는 지적이다.

24일(현지시각) 일본 종합 경제 미디어 닛케이 아시아(Nikkei Asia)에 따르면, 수아레스 작가는 "자율 무기와 상시 AI 감시 인프라를 독점한 권력자가 '우리에게 더 이상 선거나 민주주의는 필요 없다'고 선언하는 디스토피아가 도래할 수 있다"고 진단했다.


수아레스 작가는 시스템 분석가 출신의 작가로, 지난 2012년 발표한 소설 『킬 디시전(Kill Decision)』을 통해 자율 비행 드론 떼가 군집을 이뤄 인간을 공격하는 미래 전쟁의 참상을 정밀하게 예견한 바 있다. 이 같은 상상은 14년이 지난 현재 우크라이나 전장에서 일인칭 시점(FPV) 드론과 자율 타격 무기가 전차를 파괴하는 일상적 현실로 나타났다.
수아레스 작가는 이에 대해 "수백 달러짜리 3D 프린팅 부품과 트랜지스터로 만든 소형 드론이 수백만 달러짜리 주력 전차를 파괴하는 비대칭 군사 혁명이 이미 완성됐다"며 "문제는 이러한 물리적 위협에 대응하는 과정에서 서방 민주주의 국가들이 법치와 전쟁 윤리라는 삶의 방식을 스스로 무너뜨릴 수 있다는 점"이라고 우려했다.

특히 그는 "러시아나 중국 같은 권위주의 국가들의 빠른 공격 템포를 따라잡기 위해 인간의 최종 승인 없이 기계가 목표를 판단하고 살상하는 '완전 자율 살상'을 도입해서는 안 된다"고 역설했다.

그는 "적들이 범죄적이고 무책임하다고 해서 우리도 그들을 흉내 낸다면 우리 스스로 권위주의 국가가 되는 것"이라며 "살상 결정의 연결 고리(루프)에는 반드시 인간이 존재해야 하며, 기술은 인간의 의사결정을 신속하게 보조하는 방향으로 제한되어야 한다"고 강조했다.


미국과 중국이 연간 수천억 달러를 투입하며 벌이고 있는 컴퓨팅 인프라 및 거대언어모델(LLM) 투자 광풍에 대해서도 날카로운 비판이 이어졌다.
수아레스 작가는 "미국 내 데이터센터 구축과 AI 자금 지원은 이미 지속 가능한 수준을 넘어선 실존적 광기에 가깝다"며 "우리가 중국을 이겨야 한다는 명분 아래 벌이는 경쟁이 결국 '그들보다 더 크고 나은 감시 국가를 만드는 경주'가 되어서는 안 된다"고 꼬집었다.

또한, 의료, 군사, 교통 통제 등 오류가 인명 피해로 직결되는 '미션 크리티컬' 영역에서 여전히 환각(Hallucination)을 일으키는 LLM에 의사결정을 위임하고 인간을 배제하려는 흐름을 심각한 퇴보로 규정했다.

아울러 그는 대규모 봇을 동원해 여론을 왜곡하는 AI 기반 가짜 뉴스 유포 문제를 거론하며 "LLM의 등장으로 허위 정보가 산업화되면서 무엇이 진실인지 파악하기 어려워졌고, 이는 민주주의의 근간인 대중의 의사 형성을 근본적으로 교란하고 있다"고 경고했다.


수아레스 작가는 일론 머스크 등 글로벌 기술 거물들과 거대 플랫폼 기업들이 국가 주권을 압도하는 권력을 쥐게 된 현실도 짚었다.

그는 "국방, 감시, 소셜미디어 등 핵심 인프라를 공급하는 민간 빅테크 기업들이 주권 정부의 통제를 벗어나면서, 정부가 오히려 이들 기업의 '주니어 파트너'로 전락하는 현상이 나타나고 있다"며 "감시 카메라와 데이터센터, 살상 기계를 독점한 소수의 부유층이 책임을 회피하는 중앙집권적 사회로 향하는 것은 인류에게 실존적 위협"이라고 지적했다.

다만 그는 기술을 통한 반격의 가능성도 열어두었다. 세계 최대 해킹 콘퍼런스인 데프콘(DEF CON)을 예로 든 수아레스 작가는 "중앙집권적인 단일 기술 시스템일수록 치명적인 취약점을 내포하고 있다"며 "기술의 작동 원리를 이해하고 연대하는 시민들이 존재한다면 빅테크와 권위주의 권력의 독점을 견제할 수 있다"고 설명했다.

수아레스 작가는 "결국 민주주의를 지키는 유일한 안전장치는 법과 제도"라며 "단순히 성능 높은 AI 모델을 개발하는 데 매몰될 것이 아니라, 우리의 지적 역량을 자유와 법치, 투명성을 수호할 규제 프레임워크를 정립하는 데 집중해야 한다"고 제언했다.


신경원 글로벌이코노믹 기자 shincm@g-enews.com