양자 머신러닝, 50큐비트 벽 넘었다…IBM '헤론' 활용 인코딩 난제 해결

국내외 양자 컴퓨팅 연구진이 머신러닝의 실용화를 가로막던 최대 난제인 '데이터 로딩 비용'과 '낮은 학습률'을 동시에 해결할 수 있는 획기적인 기술을 선보였다.

10일(현지시각) 양자 컴퓨팅 전문매체 퀀텀 자이트가이스트에 따르면 코그니티브(Qognitive), IBM 퀀텀(IBM Quantum) 등의 공동 연구팀은 최근 고전 데이터를 양자 시스템 내에 간결하게 표현하는 '선형 해밀토니안 기반 머신러닝' 접근 방식을 통해 양자 머신러닝(QML)의 새로운 지평을 열었다.


기존 양자 머신러닝은 고전 데이터를 양자 상태로 변환하는 과정에서 막대한 계산 자원을 소모하며 효율성이 떨어진다는 지적을 받아왔다. 그러나 연구팀은 데이터를 'k-로컬 해밀토니안(k-local Hamiltonian)'의 기저 상태 문제로 치환하는 방식을 도입했다. 이는 각 데이터를 고유한 에너지 상태로 변환해 양자 회로에 자연스럽게 녹여내는 방식으로, 기존의 복잡한 데이터 인코딩 과정을 획기적으로 단축했다.

이번 연구의 가장 큰 성과는 실제 양자 하드웨어에서의 확장성 입증이다.

퀀텀 자이트가이스트에 따르면 연구팀은 IBM의 최신 '헤론(Heron)' 프로세서를 활용, 최대 50개의 큐비트를 사용하여 모델 학습에 성공했다. 이는 현재의 기술 수준인 '오류 내성이 없는(Noisy Intermediate-Scale Quantum, NISQ)' 단계에서도 충분히 복잡한 데이터를 처리할 수 있음을 보여주는 사례다.

특히 연구팀이 독자적으로 개발한 '샘플 기반 크릴로프 양자 대각화(SKQD)' 알고리즘이 핵심적인 역할을 했다. 이 기법은 전체 양자 공간을 모두 탐색하는 대신, 데이터의 특징을 잘 나타내는 특정 부분 공간만을 효율적으로 계산해 기저 상태를 찾아낸다. 이를 통해 하드웨어 노이즈 속에서도 정확한 기울기(Gradient) 값을 산출하여 안정적인 학습을 가능하게 했다.


이번 연구 결과는 단순히 이론적 증명을 넘어 실질적인 산업 응용 가능성을 높였다는 평가를 받는다. 연구팀은 10개의 특징을 가진 이진 분류 문제를 통해 높은 정확도를 기록했으며, 이 과정에서 모든 에너지 항을 계산하지 않고도 효과적인 학습이 가능하다는 점을 확인했다. 이는 양자 자원을 아끼면서도 고성능의 결과물을 얻을 수 있는 '저회로·고효율' 모델의 탄생을 의미한다.

연구진은 "이번 기술은 불모지(Barren Plateaus) 현상과 같은 기존 양자 학습의 고질적인 문제를 회피할 수 있어 매우 견고하다"며 "앞으로 금융 데이터 분석, 의료 영상 판독 등 복잡한 데이터 세트가 필요한 분야에서 고전 컴퓨터를 뛰어넘는 성능을 보여줄 것"이라고 밝혔다.
향후 연구팀은 더 크고 복잡한 실제 산업 데이터에 이 모델을 적용하는 한편, 고전적 머신러닝 방법론과의 체계적인 비교 분석을 통해 양자 머신러닝만의 독보적인 우위를 확립해 나갈 계획이다.


이태준 글로벌이코노믹 기자 tjlee@g-enews.com