AI 수학 능력 급진전…전 세계 금융·통신 암호체계 안전성 위협

인공지능(AI)의 수학적 문제 해결 능력이 빠르게 발전하면서 온라인 금융거래와 통신, 데이터베이스를 보호하는 기존 암호체계의 안전성에 대한 우려가 커지고 있다.

그동안 현대 암호기술을 위협할 가장 큰 변수로는 양자컴퓨터의 발전이 꼽혔다. 그러나 AI가 복잡한 알고리즘과 정수론의 난제를 해결하는 능력을 높이면서 양자컴퓨터가 실용화되기 전에 기존 암호체계의 취약점이 발견될 수 있다는 경고가 나오고 있다.

더욱이 양자컴퓨터의 공격에 대비해 개발 중인 차세대 암호기술 가운데 일부도 AI의 수학적 능력 발전에 영향을 받을 가능성이 제기됐다.

파이낸셜타임스(FT)는 AI의 수학적 성과가 암호기술의 안전성을 둘러싼 기존 가정을 흔들면서 금융당국과 기업들이 현재 사용 중인 암호체계와 차세대 보안기술을 재검토하고 있다고 28일(현지시각) 보도했다.
다만 AI가 현재 널리 사용되는 핵심 암호 알고리즘을 실제로 해독한 사례는 확인되지 않았다. 전문가들 사이에서도 AI가 암호체계 자체를 무너뜨릴 수 있을지에 대해서는 의견이 엇갈리고 있다.


암호체계의 안전성에 대한 우려가 커진 계기 가운데 하나는 오픈AI가 최근 공개한 수학 연구 성과다.

오픈AI는 장기간 해결되지 않았던 수학 문제의 증명을 포함해 수백 편의 논문을 공개했다. 이 가운데 일부는 자사의 AI 모델이 해결책을 만들어냈다고 설명했다.

이같은 발표는 AI가 인간 수학자의 연구를 보조하는 수준을 넘어 복잡한 문제의 해결 과정에 직접 기여할 수 있다는 가능성을 부각했다.
그러나 연구 성과를 둘러싸고 수학계 내부에서 논란도 발생했다.

AI로부터 수학 분야를 보호하겠다는 취지로 설립된 단체인 '인간수학협회'는 오픈AI의 논문 공개를 비판하며 수학자들에게 이 회사와의 협력을 중단하라고 촉구했다.

오픈AI는 자사의 연구 활동을 옹호하면서 수학 분야의 한 재단에 500만달러(약 66억2550만원)를 지원하겠다고 약속했다.

이 논란이 암호기술 분야에서 주목받는 이유는 현대 암호체계의 안전성이 특정 수학 문제를 해결하기 어렵다는 전제에 기반하기 때문이다.

AI가 수학적 난제를 해결하는 능력을 계속 발전시킨다면 현재 안전하다고 여겨지는 일부 암호 알고리즘의 취약점이 드러날 가능성도 있다는 것이다.

호주 수학자 조디 윌리엄슨은 최근 영국 임페리얼칼리지런던이 주최한 강연에서 “AI가 수학 문제의 난도를 판단하는 기존 기준을 근본적으로 바꾸고 있다”고 지적했다.

그는 현대 암호기술이 수학적 계산의 어려움에 의존하고 있다는 점을 강조하며 앞으로 암호기술 분야에 상당한 충격이 발생할 가능성이 있다고 경고했다.


FT는 기존 암호기술의 안전성을 이해하려면 암호 알고리즘이 어떤 수학적 원리를 활용하는지 살펴볼 필요가 있다고 지적했다.

널리 사용되는 일부 공개키 암호 방식은 매우 큰 소수 두 개를 곱하는 계산과 그 결과를 다시 소인수분해하는 계산의 난도 차이를 이용한다.

두 소수를 곱해 하나의 큰 숫자를 만드는 과정은 일반적인 컴퓨터로도 비교적 쉽게 수행할 수 있다.

그러나 그 결과만 보고 원래의 두 소수가 무엇인지 알아내는 일은 숫자가 충분히 크면 기존 컴퓨터로 해결하기 매우 어려운 문제다.

이같은 계산상의 비대칭성을 활용하면 암호화된 정보를 보호할 수 있다.

문제는 AI가 새로운 알고리즘을 설계하거나 정수론의 난제를 해결하는 능력을 발전시키고 있다는 점이라고 FT는 지적했다.

정수론은 정수의 성질과 관계를 연구하는 수학 분야로 여러 암호 알고리즘의 이론적 기반과 밀접하게 연결돼 있다.

FT는 “AI의 알고리즘 설계와 정수론 연구 능력이 높아지면서 지금까지 매우 어렵다고 여겨졌던 계산 문제를 해결하는 새로운 방법이 발견될 가능성에 관심이 쏠리고 있다”고 전했다.

그러나 이러한 가능성이 곧바로 현재의 암호체계가 해독될 수 있다는 의미는 아니다.

현재까지 AI가 널리 사용되는 핵심 암호 알고리즘을 근본적으로 무력화했다는 증거는 제시되지 않았다.

일부 사이버보안 전문가들은 AI의 수학적 성과가 실제 암호해독 능력으로 이어질 것이라는 전망에 회의적인 입장을 유지하고 있다.


그동안 금융기관과 통신업체들이 장기적인 암호 보안 위험으로 주목한 기술은 양자컴퓨터였다.

양자컴퓨터는 기존 컴퓨터와 다른 물리적 원리를 이용해 특정 계산을 수행하도록 설계된 기술이다.

충분한 성능을 갖춘 양자컴퓨터가 개발되면 현재 일부 암호 알고리즘의 안전성을 위협할 수 있다는 우려가 오래전부터 제기돼왔다.

이 때문에 각국 정부와 기업들은 양자컴퓨터의 공격에도 안전하도록 설계된 양자내성암호 기술을 개발하고 도입하는 작업을 진행하고 있다.

그러나 실용적으로 강력한 양자컴퓨터가 등장하기까지는 여전히 상당한 시간이 필요하다는 것이 다수 전문가의 판단이다.

반면 AI의 수학적 능력은 이미 빠르게 발전하고 있다.

FT가 인용한 한 금융업계 관계자는 암호 알고리즘에 가장 가까이 다가온 위험이 양자컴퓨터인지 AI인지 다시 생각할 필요가 있다고 말했다.

전문가들의 우려는 기존 암호체계에만 한정되지 않는다.

영국 맨체스터대의 암호수학 교수인 대니얼 슈는 “수학적 구조에 크게 의존하는 암호기술일수록 AI의 발전이 중요한 위험 요인이 될 수 있다”고 지적했다.

그는 양자컴퓨터의 공격에 대비해 설계된 새로운 암호 알고리즘 가운데 아직 충분히 성숙하지 않은 일부 기술도 취약할 가능성이 있다고 설명했다.

이는 양자컴퓨터에 대한 내성을 확보했다고 해서 모든 수학적 공격에도 안전하다고 단정할 수 없다는 의미다.

슈 교수에 따르면 AI의 수학적 능력 발전을 계기로 미국과 중국, 독일 등에서도 기존 암호기술과 차세대 알고리즘의 안전성을 다시 검토하는 움직임이 나타나고 있다.


금융당국도 AI와 양자컴퓨터가 암호체계에 미칠 위험에 대비하기 시작했다.

영국 금융감독청(FCA)은 AI와 양자컴퓨팅 기술의 발전에 따라 사이버 위협이 빠르게 변화하고 있다고 FT에 밝혔다.

FCA는 현재 대형 금융기관 50곳과 새로운 감독 도구를 시험하고 있다.

이 도구는 금융기관들이 암호기술과 관련된 새로운 위험에 얼마나 준비돼 있는지 점검하기 위한 것이다.

영국에서 FCA의 감독을 받는 금융서비스 업체는 3만5000곳이 넘는다.

FCA는 다음 달 이들 업체를 대상으로 AI와 양자컴퓨팅이 초래할 수 있는 암호 보안 위험에 대응하는 실무 지침을 공개할 계획이다.

감독당국은 기업들이 새로운 위험이 현실화할 때까지 대응을 미뤄서는 안 된다는 입장이다.

특히 현재 어떤 암호기술이 중요한 정보를 보호하고 있는지 파악하고 앞으로 더 안전한 암호체계로 전환할 준비를 시작해야 한다고 강조했다.

이는 특정 암호 알고리즘에 실제 결함이 발견된 뒤 대응하기보다 현재 사용 중인 보안기술을 점검하고 교체할 수 있는 체계를 마련하라는 의미다.

온라인 금융거래와 고객정보, 기업 내부 데이터베이스 등 민감한 정보를 보호하는 시스템에서 이같은 준비의 필요성이 제기되고 있다.


AI의 발전이 사이버보안에 미치는 영향은 이미 일부 영역에서 나타나고 있다.

FT에 따르면 최근 오픈AI와 구글이 개발한 AI 모델들이 널리 사용되는 웹 프로그래밍 언어인 PHP의 보안 취약점을 발견하는 데 기여했다.

이에 따라 세계 여러 기업이 관련 취약점을 수정하기 위한 작업을 진행했다.

다만 소프트웨어에서 보안 취약점을 발견하는 것과 암호 알고리즘 자체의 수학적 안전성을 무너뜨리는 것은 다른 문제다.

현재 확인된 AI의 보안 연구 성과가 기존 암호체계의 근본적인 해독 성공을 뜻하는 것은 아니다.

그럼에도 보안 위험이 변화하는 속도가 빨라지면서 기업들은 암호기술을 보다 유연하게 교체할 수 있는 체계를 구축하고 있다.

영국 통신업체 BT는 양자컴퓨터의 미래 위협에 대비해 새로운 암호 방식으로 전환하는 작업을 준비하고 있다고 밝혔다.

BT는 보안 표준과 기술, 위협 환경이 변화할 때 암호기술을 보다 쉽게 교체할 수 있도록 하는 데 집중하고 있다고 설명했다.

특정 암호 알고리즘이 장기간 안전할 것이라고 가정하기보다 새로운 취약점이 발견되면 다른 기술로 전환할 수 있는 능력을 확보하겠다는 것이다.

FT는 AI의 수학적 발전이 암호체계에 대한 기존의 안전성 판단을 재검토하게 만들고 있다고 보도했다.

특히 양자컴퓨터의 발전에 대비하는 데 집중했던 금융기관과 통신업체들이 AI라는 또 다른 기술적 변수를 고려해야 하는 상황에 놓였다는 분석이다.

다만 AI가 실제로 핵심 암호체계를 해독할 수 있을지는 여전히 불확실하다.

현재의 위험은 암호체계가 이미 무너졌다는 데 있는 것이 아니라 수학적으로 안전하다고 판단해온 기술의 전제를 앞으로도 그대로 신뢰할 수 있는지 다시 검증해야 한다는 데 있다는 지적이다.


김현철 글로벌이코노믹 기자 rock@g-enews.com