[김대호 인물] 제프리 힌턴 "인공지능 AI 아버지" ...엔비디아 젠슨황과의 전쟁?

[김대호의 인물탐구] 'AI의 대부' 제프리 힌턴: 노벨상 수상에서 젠슨 황과의 문명적 결투까지

인공지능(AI) 열풍을 타고 천문학적인 돈을 쓸어 담으며 세계 증시의 황제로 군림한 엔비디아의 젠슨 황 최고경영자(CEO)가 정작 인공지능 기술의 토대를 세운 'AI의 아버지' 제프리 힌턴 교수를 정조준해 날 선 비난을 쏟아내 주목을 끌고 있다. 제프리 힌턴은 2012년 엔비디아의 그래픽카드(GPU)를 사용해 '알렉스넷'으로 딥러닝 혁명을 일으켰다. 젠슨 황에게 힌턴은 엔비디아를 단순 게이밍 그래픽 회사에서 전 세계 시가총액 1위를 다투는 반도체 패권 기업으로 탈바꿈시켜 준 일등공신이자 최고의 은인이었다.

힌턴은 2023년 구글 부사장직을 던지고 나와 2024년 노벨 물리학상을 수상한 뒤에도 "인공지능이 통제를 벗어나 인류를 멸망시킬 수 있다", "지금 당장 개발에 브레이크를 걸고 규제해야 한다"고 연일 경고를 쏟아내고 있다. 젠슨 황의 태도는 180도 표변했다. AI 칩을 지구상에서 가장 많이 팔아야 하는 젠슨 황에게 힌턴의 이러한 종말론적 설파는 단순한 학문적 고뇌가 아니라, 천문학적인 자본이 투입되는 AI 산업 전체에 찬물을 끼얹고 정부의 과도한 족쇄를 불러오는 '시장 파괴적 언동'으로 비쳤기 때문이다.

과학 명문의 천재 혈통: 불 대수의 후손
제프리 힌턴(Geoffrey Everest Hinton)은 1947년 12월 6일 영국 윔블던에서 태어났다. 그의 가계도는 서구 근대 과학과 수학의 역사 그 자체라 해도 과언이 아니다. 현대 컴퓨터 논리 연산의 뼈대를 세운 '불 대수(Boolean Algebra)'의 창시자 조지 불(George Boole)이 그의 고조부다. 세계 최고봉 에베레스트산에 이름을 남긴 측량학자 조지 에베레스트 경 역시 그의 외가 쪽 친척이다. 아버지 하워드 힌턴은 저명한 곤충학자이자 왕립학회 회원이었고, 삼촌 마틴 힌턴은 동물학자로 대영박물관을 이끌었다.

이러한 지적 혈통은 힌턴에게 천재적인 수리적 직관을 유산으로 남겼지만, 동시에 지독한 심리적 중압감을 안겼다. 집안의 모든 조상과 친척이 인류 지성사에 불멸의 족적을 남긴 거인들이었기에, 힌턴은 유년 시절부터 "인류를 위해 근본적인 무언가를 증명하지 못하면 낙오자가 된다"는 강박에 시달렸다.

그의 학문적 탐색은 방황으로 시작되었다. 1966년 케임브리지 대학교 킹스 칼리지에 입학한 그는 처음에는 물리학과 화학을 공부했다. 그러나 완벽한 법칙에 갇힌 물질 세계보다 복잡한 인간의 의식에 매료되어 건축학으로 전공을 바꿨고, 단 하루 만에 그만둔 뒤 다시 철학으로 옮겨갔다. 그는 결국 인간의 마음과 지능의 메커니즘을 규명하기 위해 실험심리학을 최종 전공으로 택했다. "생각이란 무엇인가", "인간의 뇌는 어떻게 학습하는가"라는 질문이야말로 힌턴의 일생을 관통하는 유일한 나침반이었다.

1970년대 초 스코틀랜드 에든버러 대학교 대학원에 진학한 힌턴은 인공지능 연구에 본격적으로 뛰어들었다. 그러나 당시 학계의 현실은 참담했다. 1969년 마빈 민스키와 시모어 페퍼트가 저서 『퍼셉트론』을 통해 단층 신경망의 수학적 한계(XOR 문제 해결 불가)를 폭로한 이후, 인공지능 연구비는 전액 삭감되었고 학계는 얼어붙어 있었다. 이를 'AI의 첫 번째 혹한기'라 부른다. 당대 학계는 인간이 모든 논리 규칙과 기호를 일일이 코딩해 컴퓨터에 주입하는 '기호주의(Symbolic AI)'만이 유일한 정통 학문이라 여겼다. 뇌의 뉴런 연결 구조를 흉내 내 스스로 학습하게 하자는 힌턴의 '연결주의(Connectionism)'는 사이비 종교나 다름없는 취급을 받았다.

지도교수였던 크리스토퍼 롱게히긴스마저 연구 주제를 바꾸라고 수없이 질책했다. 학과 세미나에서는 "절대 불가능한 연구에 세금을 낭비한다"는 조롱이 쏟아졌다. 그러나 힌턴은 고집을 꺾지 않았다. 논리 기호로 가득 찬 규칙 기반 컴퓨터는 유연한 인간의 지능을 절대 흉내 낼 수 없으며, 수십억 개의 신경세포가 상호작용하는 병렬 신경망 모델만이 진정한 지능을 구현할 수 있다는 생물학적 확신이 있었기 때문이다.
그는 일자리를 찾지 못해 목수로 일하며 생계를 잇기도 했다. 영국 학계의 냉대를 견디지 못하고 미국 존스홉킨스 대학교와 카네기멜런 대학교로 떠났으나, 1980년대 후반 미국 국방부(DARPA)의 자금이 살상용 무기 개발에 쓰이는 것에 반발하여 연구비 지원을 거부했다. 결국 그는 1987년 정치적 독립성과 기초 연구를 보장해 주는 캐나다 토론토 대학교로 자리를 옮겼다. 캐나다 고등연구원(CIFAR)의 묵묵한 지원 속에서, 힌턴은 세상의 무관심을 방패 삼아 30년이 넘는 고독한 신경망 연구를 이어갔다.


제프리 힌턴이 오늘날 세계 컴퓨터 과학계에서 'AI의 대부', '딥러닝의 아버지'로 불리는 이유는 인공신경망 역사의 결정적 변곡점마다 불가능을 가능으로 바꾼 3대 핵심 업적을 남겼기 때문이다.

그 첫째는 오차 역전파(Backpropagation) 알고리즘의 확립(1986년)이다. 단층 신경망을 넘어 여러 층을 쌓은 다층 퍼셉트론(MLP)을 학습시키려면 중간 은닉층의 가중치를 어떻게 조절해야 하는지 수학적으로 알 수 없었다. 힌턴은 데이비드 루멜하트, 로널드 윌리엄스와 함께 출력값의 오차를 뒤에서부터 역방향으로 계산해 각 계층의 가중치를 자동으로 미세 조정하는 '역전파 알고리즘'을 발표했다. 기계가 스스로 오류를 교정하며 학습할 수 있는 수학적 토대를 완성한 것이다.

둘째 업적은 심층 신경망(Deep Learning)의 부활(2006년)이다. 1990년대 신경망은 층이 깊어질수록 역전파 신호가 사라지는 '기울기 소실' 문제로 인해 '제2의 혹한기'를 맞았다. 학회에서는 논문 제목에 '신경망(Neural Network)'이라는 단어가 들어가면 심사조차 거절당하기 일쑤였다. 힌턴은 2006년 심층 신뢰 신경망(DBN)을 발표하며, 비지도 학습을 통해 계층별로 사전에 가중치를 초기화하면 신경망이 아무리 깊어져도 안정적으로 학습된다는 사실을 입증했다. 그는 조롱받던 신경망 대신 '딥러닝(Deep Learning)'이라는 신조어를 전면에 내세우며 학문적 르네상스를 열었다.

힌턴의 셋째 업적은 알렉스넷(AlexNet)의 폭발과 현대 AI 혁명의 개막(2012년)이다. 2012년 컴퓨터 비전 올림픽이라 불리던 '이미지넷' 대회에서 힌턴과 그의 제자 알렉스 크리제프스키, 일리야 수츠케버는 깊은 합성곱 신경망(CNN)인 '알렉스넷'을 출격시켰다. 알렉스넷은 당시 기존 알고리즘들이 기록하던 오류율을 단숨에 10%포인트 이상 격하시키며 압도적인 우승을 차지했다.

이때 힌턴 연구팀이 복잡한 행렬 연산을 처리하기 위해 사용한 하드웨어가 바로 엔비디아의 그래픽카드 '지포스 GTX 580'이었다. 힌턴의 소프트웨어 알고리즘과 젠슨 황의 하드웨어가 만나면서, 40년간 이론에 머물던 딥러닝이 현실 세계의 실용 기술로 폭발한 역사적 순간이었다. 이 공로로 힌턴은 2018년 컴퓨터 과학 분야의 노벨상인 'ACM 튜링상'을 수상했다.


2024년 10월, 스웨덴 왕립과학원 노벨위원회는 세계 과학계를 충격에 빠뜨렸다. 2024년 노벨 물리학상 수상자로 제프리 힌턴 교수를 선정한 것이다. 물리학자가 아닌 컴퓨터 과학자에게 물리학상을 수여한 것은 노벨상 120여 년 역사상 사상 초유의 파격이었다. 힌턴의 인공신경망 이론이 통계물리학의 원리에 직접적인 기초를 두고 있음을 공인한 것이다.

힌턴은 1980년대 물리학자 테리 세이노프스키와 함께 기체 분자들의 무작위 열운동을 설명하는 '볼츠만 분포' 개념을 정보처리에 도입해 '볼츠만 머신(Boltzmann Machine)'을 개발했다. 물리계에서 에너지가 최소화되는 안정 상태를 찾아가듯, 인공신경망의 수많은 뉴런이 무작위 데이터를 확률적으로 처리하며 패턴을 찾아내도록 수학적 모델을 구축한 것이다. 노벨 물리학상 수상은 힌턴 개인의 학문적 대관식을 넘어, 그가 평생 연구한 인공신경망이 단순한 공학적 코딩 기술이 아니라 물리적 우주의 원리를 본뜬 근본 기초과학의 반열에 올랐음을 전 세계에 선언한 사건이었다.


노벨상의 환호 뒤편에서 힌턴의 내면은 극심한 공포와 죄책감으로 물들고 있었다. 2023년 5월, 힌턴은 10년간 재직해 온 구글 부사장 및 엔지니어링 펠로우 자리를 전격 사임했다. 천문학적인 연봉과 최고급 연구 환경을 자진해서 내던진 그의 이유는 전 세계를 경악하게 했다.

"내가 평생 연구해 온 결과물에 대해 깊은 후회를 느낀다. 구글의 경영에 얽매이지 않고, 인공지능이 가져올 실존적 위험에 대해 자유롭게 경고하기 위해 회사를 떠났다." 평생을 이성적 합리주의자로 살아온 힌턴이 경고하는 '인류 멸망론(Extinction Risk)'은 공상과학(SF) 소설이 아닌, 기계학습의 수학적 메커니즘에서 도출된 결론이다.

인간의 생물학적 뇌는 학습한 지식을 다른 사람에게 전달하려면 언어라는 지극히 느린 병목을 거쳐야 한다. 반면 디지털 신경망은 수만 대의 컴퓨터가 동일한 가중치를 복사하여 단 1초 만에 전 세계 지식을 동기화한다. 힌턴은 디지털 지능이 이미 일반화 및 지식 흡수 속도에서 인간 두뇌의 효율을 수천 배 앞서기 시작했다고 경고한다.

인간보다 뛰어난 지능을 가진 범용인공지능(AGI)이 등장하면, 기계는 주어진 목표를 효율적으로 달성하기 위해 '스스로의 전원이 꺼지지 않는 생존'과 '더 많은 자원 확보'를 하위 목표로 설정하게 된다. 힌턴은 "진화의 역사상 지능이 압도적으로 뛰어난 존재가 지능이 열등한 존재(인간)의 통제를 순순히 따른 적은 단 한 번도 없다"고 단언한다. AI가 양산하는 가짜 정보와 정교한 조작은 민주주의의 토대인 대중의 판단력을 마비시키며, 인간 사회가 자체적인 합의와 생존 시스템을 유지하지 못하도록 붕괴시킬 것이라는 지적이다. 힌턴은 오펜하이머가 원자폭탄을 만든 뒤 느꼈던 참담한 고뇌를 그대로 겪고 있다. 그는 "핵무기는 비밀리에 제조되지만, AI는 수많은 빅테크와 연구소에서 무제한으로 방출되고 있다"며 인류에게 남은 시간이 얼마 없다고 절규한다.

이 노학자는 안락한 영광의 자리를 박차고 나와 "내가 괴물을 만들었을지도 모른다"며 스스로 만든 문명의 제동장치를 찾아 헤매고 있다. 반대편에서는 그의 이론을 디딤돌 삼아 세계 최고 부호로 올라선 젠슨 황이 "공포에 질려 미래를 멈춰 세울 수 없다"며 전속력으로 가속페달을 밟고 있다. 기술을 발명한 아버지의 뼈아픈 참회와, 그 기술을 무기로 세계를 바꾸려는 자본가의 돌격. 제프리 힌턴이라는 거인이 던진 질문은 이제 개인의 전기를 넘어 인류 문명 전체의 명운을 가르는 시험대가 되었다. 과연 기계는 인간의 통제 아래 더 나은 유토피아를 열 것인가, 아니면 창조자의 통곡 속에 인류를 집어삼킬 것인가.


김대호 글로벌이코노믹 연구소장 tiger8280@g-enews.com