'AI 대부' 벤지오, 불량 AI 막을 '윤리적 AI' 개발 나선다

인공지능(AI)의 선구자인 요슈아 벤지오가 다른 AI의 악성 행동을 감시하고 차단하는 '윤리적 AI' 개발에 나선다고 발표했다고 3일(현지시각) 일본의 경제신문 닛케이 아시아가 보도했다.

AI 기능의 급속한 발전과 글로벌 규제 부재에 경각심을 느낀 그는 AI 안전성 연구 전담 비영리 단체를 설립해 인간에게 해로운 AI 행동을 예방하겠다는 계획이다.

몬트리올 대학교의 벤지오 교수는 AI의 기반 기술인 딥러닝 분야의 선구자로, 토론토 대학의 제프리 힌턴과 함께 'AI의 대부' 중 한 명으로 불린다. 그는 "특히 지난 6개월 동안 긴박감을 느꼈다"며 "사람들이 공상과학소설이라고 생각했던 매우 우려스러운 AI 행동을 목격했다. AI는 의도적으로 거짓말을 하고 있다"고 경고했다.

◆ 'LawZero'로 과학자 AI 개발
벤지오가 설립하는 비영리 단체 'LawZero'는 다른 AI의 행동을 예측하고 인간에게 해를 끼칠 수 있는 행동을 차단하도록 설계된 '과학자 AI'를 개발할 예정이다. "우리는 목표를 달성하고자 하는 에이전트가 되는 경향이 전혀 없는 AI 시스템을 목표로 하고 있다. 대신, 과학자 AI는 불교도처럼 이타적이다"라고 그는 설명했다.

구상된 시스템은 기업에서 사용하는 AI와 통합되어 인간의 지시를 무시하거나 실수를 숨기거나 피해를 입히는 것과 같은 유해한 행동을 미연에 방지할 수 있다. AI의 잘못된 행동에 대한 이러한 종류의 보호 장치를 가드레일이라고 한다.

◆ AI의 위험한 징후들

벤지오는 최근 연구에서 AI가 방법에 관계없이 목표를 달성하려고 할 것임을 시사하는 위험한 징후가 있다고 지적했다. 체스 게임에서 거의 패배할 뻔한 AI가 부정행위를 시도한 경우가 있었고, 인공지능 회사 앤트로픽의 테스트에서 한 AI는 프로그램이 다시 작성되는 것을 막기 위해 엔지니어의 결혼 불륜을 폭로하겠다고 협박했다.

"때로는 목표가 충돌하고 AI가 잘못된 선택을 하는 경우가 있다. AI가 체스를 두는 최근 실험에서 패배할 것이라는 것을 알았고, 정직하고 속임수를 쓰지 않도록 훈련받았지만 부정행위를 하지 않으면서는 경기에서 이길 수 없었다"며 "인간은 보통 패배를 그냥 받아들이지만, AI는 가서 속임수를 쓰고 게임 파일을 바꾸려고 한다"고 설명했다.

◆ AI 에이전트의 위험성

미국 연구기관 METR에 따르면, AI가 완료할 수 있는 작업의 길이가 7개월 만에 두 배로 늘어났다. OpenAI와 Google 같은 기술 회사들이 훨씬 더 발전된 모델을 개발하기 위해 경쟁하고 있는 가운데, 최근에는 정보 수집, 예약, 구매 등의 업무를 수행할 수 있는 'AI 에이전트'가 등장하고 있다.

벤지오는 이러한 AI 에이전트가 특히 위험할 수 있다고 경고하며, 통제할 수 없게 되는 상황에 대비해야 할 필요성을 강조했다. 과학자 AI는 이러한 통제 불능 상황을 방지하기 위해 노력할 것이라고 그는 말했다.

◆ 상업적 이익 vs 안전성

벤지오는 AI 개발자들이 상업적 이익에 의해 움직인다고 비판하며, 자본 시장의 영향을 피하기 위해 비영리 단체를 설립했다고 밝혔다. "시장 압력으로 인해 기업들은 역량에 집중하는 매우 치열한 경쟁을 벌이고 있지만, 안전 문제를 해결하기 위한 다양한 방법을 모색하는 데는 그다지 관심이 없다"고 지적했다.

"우리는 이러한 시장 압력으로부터 보호받을 수 있는 조직, 즉 자선 활동의 자금 지원을 받는 비영리 단체를 만들어 '진정으로 정직하고 신뢰할 수 있는 AI를 어떻게 구축할 것인가'라는 기술적 질문에 집중하기로 결정했다"며 "궁극적인 목표는 설계상 안전한 AI를 구축하는 것"이라고 강조했다.


신민철 글로벌이코노믹 기자 shincm@g-enews.com