오픈AI 챗GPT-5, 양자 컴퓨팅 난제 해소…'인간 지성 영역' 침투 시작

인공지능(AI)이 컴퓨터 과학의 가장 난해한 분야 중 하나인 양자 복잡계(양자 컴퓨터가 문제를 해결하는 데 필요한 자원을 연구하는 분야) 이론에서 수십 년간 지속된 난제를 해결하는 데 결정적인 역할을 했다는 연구 결과가 나와 학계의 이목이 집중됐다.

29일(현지시각) 과학 전문매체 인터레스팅 엔지니어링에 따르면 오픈AI의 챗GPT-5 모델이 양자 오류 감소의 근본적인 한계를 밝혀내는 수학적 표현을 제시하며, AI가 더 이상 단순한 보조 도구를 넘어 추상적인 과학 연구의 핵심 주체로 부상했음을 입증했다.


컴퓨터 과학에서 'NP(Non-deterministic Polynomial time)' 클래스가 해결책을 찾는 데는 시간이 오래 걸려도 검증은 빠른 문제들을 다룬다면, 양자역학의 대응 개념인 양자 매칭(QMA, Quantum Merlin-Arthur)은 증명이 '비트열'이 아닌 '양자 상태(Quantum Witness)'로 주어지는 문제들을 말한다.

인터레스팅 엔지니어링에 따르면 텍사스 오스틴 대학의 스콧 아론슨(Scott Aaronson) 교수와 CWI 암스테르담의 프리크 비테빈(Freek Witteveen) 연구원은 최근 논문인 'QMA에서 블랙박스 증폭의 한계(Limits of Black-Box Amplification in QMA-특정 복잡계 문제에서 오류 확률을 더 이상 줄일 수 없는 근본적인 한계점)'를 통해 GPT-5의 기여를 공개했다.
QMA 시스템은 완전성(Completeness)(아서가 유효한 증명을 수락할 확률)과 건전성(Soundness)(아서가 잘못된 증명을 잘못 수락할 확률)이라는 두 가지 숫자로 정의된다. '증폭'은 검증 과정을 반복해 이 두 가지 오류(오차)를 줄이는 방법이다. 기존 연구에서 완전성이 1에 두 배 지수적으로 근접할 수 있음은 밝혀졌으나, 그 이상이 가능한지가 난제였다.


아론슨 교수는 이 문제의 분석에 어려움을 겪던 중 GPT-5에 도움을 요청했다. 초기 제안은 부정확했으나, 여러 차례의 대화 끝에 GPT-5는 수용과 확실성의 관계를 측정하는 단일 함수로 문제를 재구성하는 방안을 제시했다고 인터레스팅 엔지니어링은 전했다.

이 아이디어는 획기적이었다. 연구자들은 이 함수를 근사 이론(복잡한 것을 간단한 것으로 바꾸어 얼마나 오차 없이 계산할 수 있을까를 다루는 분야)으로 분석한 결과, 완전성이 1에 대한 두 배 지수적 근접성을 초과할 수 없으며, 건전성은 지수적으로 작은 값 아래로 떨어질 수 없다는 점을 수학적으로 증명해냈다.

이 증명은 양자 오류 감소를 위한 '블랙박스 증폭' 방식이 이제 한계에 도달했음을 보여준다. 즉, QMA의 오차를 더 줄이기 위해서는 증명의 구조를 블랙박스처럼 다루는 대신, 회로 구조 자체를 분석하는 '비상대화 방법'이 필요함을 의미한다.


아론슨 교수는 자신의 블로그인 '슈테틀 옵티마이즈드(Shtetl Optimized)'에 지난 9월, 저는 AI가 마침내 인간의 지적 활동 중 가장 인간적인 활동, 즉 양자 복잡도 클래스 간의 오라클 분리를 증명하는 일을 해냈다고 말씀드리려고 한다"라고 소회를 밝혔다.

일부 비평가들은 GPT-5의 통찰이 '명백한' 것이었다고 지적했으나, 아론슨 교수는 "GPT-5가 '슈드 해브(should have)' 기능을 사용하라고 제안한 것은, 우리가 문헌을 더 자세히 연구하거나 전문가에게 문의하는 데 더 많은 시간을 투자했더라면 명백했을 것"이라고 답하며 AI가 연구자들이 놓치고 있던 핵심 관점을 포착하는 데 성공했음을 인정했다.

이번 연구는 AI가 논문 초안이나 코드 작성을 넘어, 컴퓨터 과학의 가장 추상적인 영역에서 수십 년간 이어진 이론적 격차를 메우는 데 구체적인 진전을 가져온 최초의 사례 중 하나로 평가된다. 이는 AI가 양자 복잡성 연구의 중요한 전환점을 마련했음을 시사한다.


이태준 글로벌이코노믹 기자 tjlee@g-enews.com