양자 머신러닝: 2026년 우위 주장과 현실

참고: 본 글은 AGEIUM Research가 게시하는 논문형 블로그입니다. 실험 결과 수치는 제시된 아키텍처의 **예시 시연(illustrative benchmark)**이며, 참고문헌에 인용된 외부 논문(arxiv·Nature·Science 등)은 실존 검증된 출처입니다.

1. 서론

양자 머신러닝(Quantum Machine Learning, QML)은 양자 컴퓨팅의 자연스러운 확장 영역으로서, 고전 알고리즘이 다항 시간 내 접근하기 어려운 고차원 힐베르트 공간에서의 패턴 인식을 약속해왔다. 2019년 Havlíček 등이 양자 강화 특징 공간(quantum-enhanced feature space)을 활용한 지도 학습을 제시하고, 2020년 Schuld 등이 변분 양자 회로(Variational Quantum Circuit, VQC)의 표현력과 훈련 가능성을 이론적으로 분석하면서, 양자 커널 방법, VQC, 양자 신경망(QNN), 그리고 PQC 기반 생성 모델 등 4계열의 알고리즘군이 QML의 핵심 축을 형성하게 되었다. 이에 따라 산업계는 NISQ(Noisy Intermediate-Scale Quantum) 시대 내에도 기계학습 작업에서 실용적 양자 우월성이 달성될 것이라는 기대를 형성했다.

그러나 현실의 NISQ 하드웨어는 제한된 큐빗 수, 높은 두-큐빗 게이트 에러율, 짧은 코히어런스 시간이라는 삼중 제약을 안고 있다. IBM Heron r2, IonQ Forte, Rigetti Ankaa-3, QuEra Aquila 등 2025~2026년 세대 플랫폼들은 아키텍처와 노이즈 모델이 상이하며, 동일한 회로를 서로 다른 백엔드에서 실행했을 때 결과 충실도(fidelity)와 분류 정확도가 어떻게 달라지는지에 대한 교차 비교 연구는 아직 부재하다. 더불어 배런 고원(barren plateau) 현상—회로 깊이가 증가함에 따라 기울기가 지수적으로 소실되는 훈련 곤경—과 노이즈 유도 집중(noise-induced concentration)은 NISQ 환경에서의 VQC 훈련 가능성 자체를 위협한다. 이들 현상이 특정 알고리즘 계열, 데이터 규모, 하드웨어 조건의 조합에서 얼마나 심각하게 발현되는지를 정량적으로 규정한 비교 기준이 존재하지 않는다.

알고리즘 측면에서도 근본적인 도전이 제기되었다. 양자 우월성의 경계가 근년에 급격히 재설정되면서, 특정 데이터 기하학적 조건 하에서는 고전 알고리즘이 양자 커널의 성능을 복제하거나 초과할 수 있음이 밝혀졌다. 이른바 탈양자화(dequantization) 논의는 단순히 회로 깊이나 큐빗 수를 늘리는 것만으로 양자 이점이 보장되지 않음을 시사하며, 어떤 데이터 분포 체제(regime)와 작업 특성에서 양자 알고리즘이 고전 기저선—SVM, 랜덤 포레스트, 그래디언트 부스팅—을 통계적으로 유의하게 초월하는지에 대한 체계적 판별이 절실해졌다.

현재 PennyLane, Qiskit, Amazon Braket 등의 SDK는 양자 알고리즘 개발을 대중화하고 있으나, 대부분의 학술 논문은 자체 구현 환경에서 검증되거나 서로 다른 노이즈 모델, 하드웨어 추상화 수준, 고전 최적화 하이퍼파라미터를 채택하여 결과의 직접 비교가 불가능하다. 실제 상업화 관점에서 어떤 고객 과제(약물 발견, 포트폴리오 최적화, 분류 작업)와 데이터 규모가 양자 접근의 정당성을 갖는지, 현 하드웨어 세대에서 실행 가능한 회로 깊이와 특징 차원의 교집합이 무엇인지를 정량적으로 규정하는 자료는 현저히 부족하다.

본 연구는 이러한 공백을 메우기 위해 QML-Reality Benchmark(QMLRB)라는 3축 평가 프레임워크를 제안한다. (1) Hardware Axis: IBM Heron r2, IonQ Forte, Rigetti Ankaa-3, QuEra Aquila 4개 실제 백엔드에서 동일 회로를 실행하고 noise-aware 시뮬레이터 결과와 교차검증한다. (2) Algorithm Axis: Quantum Kernel, VQC, Quantum GNN, PQC 기반 생성 모델 4계열을 동일 합성 데이터셋과 고전 최적화 조건 하에 재현하고, SVM·랜덤 포레스트·그래디언트 부스팅 기저선과 통계적 비교를 수행한다. (3) Regime Axis: 샘플 수, 특징 차원, 회로 깊이, 노이즈 수준을 변인으로 하여, 탈양자화 한계를 감안한 "Dequantization-Robust Region Map"을 도출함으로써 양자 우월성 주장이 여전히 유효한 데이터 체제를 정량적으로 구획한다. 이 프레임워크는 NISQ 시대 말기의 현실적 QML 역량을 명확히 하며, 플랫폼 로드맵의 알고리즘 선택과 고객 세분화 전략의 실증적 근거를 제공한다.

2. 관련 연구

양자 머신러닝의 이론적 토대와 계산 경계를 이해하기 위해, 최근 양자 특징 맵과 커널 방법론의 발전 과정을 검토할 필요가 있다. Havlíček et al.(2019)은 양자 인코딩된 특징 공간(quantum feature space)을 활용한 감독학습의 잠재성을 실증하였으며, 이는 양자 우위의 원리적 가능성을 제시하는 초석이 되었다. 그들의 작업은 양자 상태를 고차원 특징 공간으로 매핑하는 방식이 고전 알고리즘의 계산 구조와 근본적으로 다를 수 있음을 보였다. Schuld & Killoran(2019)은 이를 재현 커널 Hilbert 공간(Reproducing Kernel Hilbert Space, RKHS) 이론으로 일반화하여, 양자 커널의 기하학적 성질과 고전 커널과의 차이를 엄밀하게 분석했다. 특히, 양자 커널의 학습 동역학이 고전적으로는 도달 불가능한 특징 구조를 활용할 수 있다는 점이 강조되었다.

그러나 이러한 양자 우위의 가능성에 대한 낙관론은 동시에 심각한 도전에 직면하게 된다. Huang et al.(2021, 2022)은 양자 머신러닝에서 데이터 기반의 양자 우위가 성립하기 위한 필요충분조건을 분석하였으며, '투영된 양자 커널'(projected quantum kernel) 개념을 도입하여 고전적으로 시뮬레이션 가능한 영역과 진정한 양자 우위 영역의 경계를 규정했다. 그들의 분석은 입력 데이터의 구조와 양자 회로의 표현력 사이의 정밀한 균형이 양자 우위 달성의 핵심이라는 점을 명확히 했다.

동시에 Tang(2019)과 그 이후의 일련의 연구들은 알려진 QML 알고리즘 집단에 대한 고전적 역양자화(classical dequantization)의 경계를 지속적으로 확장하고 있다. Tang의 추천 시스템 고전 알고리즘은 특정 양자 알고리즘으로 간주되었던 문제를 고전 컴퓨터로 효율적으로 해결할 수 있음을 보여주었으며, 이는 양자 우위의 주장이 단순히 알고리즘의 현재 최선의 고전적 구현에 의존함을 시사한다. 이러한 고전적 역양자화 결과들은 QML의 실질적 우위 영역이 생각보다 훨씬 제한적일 수 있음을 암시한다.

학습 역학 측면에서 Cerezo et al.(2021)과 McClean et al.(2018)의 연구는 '황무지 고원(barren plateau)' 문제라는 근본적 장애를 체계적으로 분석했다. 무작위로 초기화된 얕은 양자 회로의 경우, 손실 함수의 기울기가 지수적으로 0에 수렴하여 경사 기반 최적화가 실질적으로 불가능하게 되는 현상이 실증되었다. 이는 많은 양자 신경망 아키텍처에서 학습 가능성 자체에 대한 근본적 의문을 제기한다. 특히, 회로의 깊이, 층의 구조, 얽힘의 정도 등이 황무지 고원의 심각성과 상관관계를 갖는다는 점이 확인되었으며, 이러한 지식은 학습 가능한 양자 회로 설계의 필수 고려사항이 되었다.

이러한 선행 연구들의 축적은 양자 머신러닝의 현주소를 명확히 한다. 양자 우위는 특정 데이터 분포와 문제 구조 하에서만 가능하며, 동시에 학습 역학상의 난제들이 실제 구현을 가로막고 있다는 이중의 제약이 존재한다. 본 논문이 제시하고자 하는 접근법은 이러한 경계들을 인식하면서도, 양자 기술의 발전이 고전적 역양자화 경계를 확장할 새로운 가능성을 모색하는 데 있다.

3. 배경

양자 머신러닝(Quantum Machine Learning, QML)은 양자 컴퓨팅의 원리를 활용하여 고전 머신러닝 문제를 해결하는 분야로, 지난 15년간 이론적 기초가 점진적으로 확립되어 왔다. QML의 핵심은 양자 시스템의 고차원 힐베르트 공간과 양자 간섭 현상을 정보 처리에 활용함으로써 고전 알고리즘이 도달하기 어려운 연산 이점을 획득하는 것이다. 그러나 이러한 이론적 이점이 현실의 하드웨어에서 실현되기 위해서는 다수의 기술적 장벽을 극복해야 하며, 그 장벽을 체계적으로 측정하는 평가 인프라가 선행되어야 한다.

현재 양자 컴퓨팅 산업은 NISQ(Noisy Intermediate-Scale Quantum) 시대에 접어들었다. NISQ 하드웨어는 수십 개에서 수백 개 규모의 큐빗을 갖추고 있으나, 충분한 오류 정정 능력이 없으며 decoherence 시간이 제한적이다. 이러한 조건 하에서 양자 회로의 깊이(depth)를 제약해야 하며, 각 단계에서 발생하는 게이트 오류와 측정 오류가 누적되어 산출물의 신뢰도를 저하시킨다. 또한 서로 다른 제조사의 양자 프로세서는 고유한 큐빗 토폴로지, 네이티브 게이트 집합, 캘리브레이션 특성을 가지고 있어, 동일한 알고리즘을 IBM Heron, IonQ Forte, Rigetti Ankaa와 같이 서로 다른 아키텍처에서 실행할 때 결과가 현저히 달라질 수 있다. 이러한 하드웨어 이질성은 QML 성능 평가를 근본적으로 어렵게 만드는 일차 요인이다.

QML의 주요 알고리즘 계열들은 고전 머신러닝의 구조를 양자 방식으로 적응한 것들이다. 첫째, 양자 커널 방법(Quantum Kernel Methods)은 고전 커널 머신을 기반으로 하며, 양자 회로를 이용하여 데이터의 특성 공간(feature space)을 힐베르트 공간의 고차원으로 사상한다. Havlíček 등(2019)이 제안한 이 접근은 커널 행렬 계산을 양자 회로로 수행함으로써 고전적 접근 대비 효율적일 수 있다는 가설에 기초한다. 둘째, 변분 양자 회로(Variational Quantum Circuits, VQC)는 고전 최적화 알고리즘과 양자 회로를 교대로 작동시키는 하이브리드 패러다임으로, Schuld 등(2020)의 연구에서 이론적 표현력이 분석되었다. 셋째, 양자 그래프 신경망(Quantum Graph Neural Networks, QGNN)은 분자 구조 및 소셜 네트워크와 같은 그래프 구조 데이터에 대한 양자적 메시지 패싱을 시도한다. 넷째, 매개변수화 양자 회로(Parameterized Quantum Circuit, PQC) 기반 생성 모델은 양자 회로 자체를 확률 분포의 표현자로 사용하는 Quantum Born Machine 계열로, 양자 샘플링의 이점을 활용하여 고차원 확률 분포를 학습하는 접근이다. 이 네 계열은 이론적 가정과 회로 구조가 상이하여, 하드웨어 노이즈가 각 계열의 성능에 미치는 영향 또한 질적으로 다르다.

이러한 다양한 QML 알고리즘들의 성능을 공정하게 평가하기 위해서는 일관된 벤치마킹 기준이 필수적이다. 그러나 현재까지 발표된 대부분의 연구들은 특정 하드웨어 플랫폼이나 특정 알고리즘에 초점을 맞추어 왔으며, 서로 다른 하드웨어 백엔드에서의 성능 비교나 실제 양자 하드웨어와 노이즈 시뮬레이터 간의 격차를 체계적으로 분석한 종합적 연구는 부족한 상황이다. 또한 QML 알고리즘들이 고전 머신러닝 베이스라인과 비교하여 실제로 어느 정도의 이점을 갖는지, 혹은 그 이점이 현실의 노이즈 환경에서 소실되는 정도가 어느 수준인지에 대한 명확한 이해도 제한적이다.

QML의 현실성(reality)과 관련하여 두 가지 주요 이론적 우려가 제기되어 왔으며, 이 두 가지 우려는 본 논문의 평가 설계에 직접적으로 반영된다. 첫째, dequantization 문제로, Tang(2019) 이후 특정 조건 하에서 양자 알고리즘의 이점이 고전적 방법에 의해 시뮬레이션될 수 있다는 가능성이 제기되었다. 이는 QML의 이론적 우월성이 실제 데이터와 구체적 문제 설정에서도 성립하는지 알고리즘별로 검증해야 함을 의미하며, 본 논문의 Algorithm Axis 설계 근거가 된다. 둘째, barren plateau 현상으로, McClean 등(2018)이 분석한 바와 같이 VQC와 양자 신경망의 훈련 중 비용 함수의 기울기가 회로 깊이에 따라 지수적으로 소실되어 최적화가 불가능해지는 문제이다. 이 현상은 회로 구조와 초기 매개변수 설정에 따라 발생 정도가 크게 달라지며, 실제 하드웨어에서는 노이즈가 이 문제를 추가로 심화시킨다.

더욱이, 실제 양자 하드웨어의 성능은 노이즈와 오류 누적의 영향을 피할 수 없다. 단일 큐빗 게이트, 두 큐빗 게이트, 측정 각각의 오류율은 하드웨어 플랫폼마다 상이하며, 전체 회로의 신뢰도는 이러한 개별 오류들의 조합으로 결정된다. 노이즈 시뮬레이터는 이상적인 조건을 모의하거나 특정 노이즈 모델만을 반영하기 때문에, 실제 하드웨어에서의 동작과 완전히 일치하기 어렵다. 이 간극(simulator-hardware gap)을 정량화하는 것은 QML의 실용화 가능성 판단에 있어 핵심적이며, 본 논문의 Hardware Axis가 이 문제를 직접 다룬다.

현재의 QML 평가 방식의 또 다른 한계는 평가의 분산성이다. 서로 다른 연구팀이 서로 다른 하드웨어, 서로 다른 노이즈 모델, 서로 다른 하이퍼파라미터 설정 하에서 알고리즘을 평가함으로써 결과의 비교 가능성이 낮다. 또한 고전 베이스라인과의 비교 기준도 명확하지 않은 경우가 많으며, 일부 연구에서는 베이스라인을 약하게 설정하여 QML의 이점을 과장하는 경향도 관찰된다. 이러한 상황에서 QML의 실제 가치와 적용 가능한 영역을 객관적으로 평가하기 위해서는, 여러 하드웨어 플랫폼을 포괄하고, 다양한 알고리즘 계열을 동일 기준으로 비교하며, 실제 하드웨어와 시뮬레이션 환경의 격차를 명시적으로 측정하고, 강력한 고전 베이스라인과의 공정한 비교를 보장하는 통합적 벤치마킹 프레임워크가 절실하다. 본 논문이 제안하는 QML-Reality Benchmark(QMLRB)는 이러한 필요에 직접 응답한다.

4. 방법론

본 연구가 제안하는 QML-Reality Benchmark(이하 QMLRB)는 양자 기계학습 알고리즘의 실용적 가치를 세 개의 독립적 축을 통해 동시에 평가하는 통합 프레임워크로 설계되었다. 기존 QML 평가 연구의 주요 한계는 단일 백엔드에서 제한된 알고리즘 계열을 소규모 데이터셋에 적용하면서 발생한 편향에 있다. QMLRB는 이러한 편향을 구조적으로 제거하기 위해 하드웨어, 알고리즘, 현실 가능성을 각각 독립 평가 축으로 분리하고 이들 사이의 교차 분석을 필수 절차로 포함한다.

하드웨어 축은 현재 공개 접근 가능한 주요 양자 컴퓨팅 플랫폼 네 종을 대상으로 한다. 초전도 큐비트 기반 IBM Heron r2와 Rigetti Ankaa-3, 이온 트랩 기반 IonQ Forte, 그리고 중성 원자 기반 QuEra Aquila가 포함되며, 이 네 백엔드는 근본적으로 상이한 물리적 구현 원리, 결맞음 시간, 게이트 집합, 연결성 위상 구조를 갖는다. 동일한 논리 회로를 각 백엔드에서 실행함으로써 장치 간 성능 편차와 노이즈 프로파일의 차이를 정량화한다. 실기기 실험과 더불어 각 백엔드의 공식 노이즈 파라미터를 기반으로 구성한 노이즈 인식 시뮬레이터를 병렬 운용하여 시뮬레이터와 실기기 간 예측 일치도를 교차 검증한다. 이 교차 검증 과정은 노이즈 모델의 충실도를 정량화하는 동시에, 실기기 접근 비용이 높은 연구 환경에서 시뮬레이터 기반 연구 결과의 일반화 가능성을 평가하는 근거를 제공한다. IBM, IonQ, AWS Braket 플랫폼을 통한 실기기 측정은 각 실험 조건당 세 회 이상 반복 실행하여 하드웨어 변동성에서 비롯되는 무작위 오차를 충분히 포착한다.

알고리즘 축은 현재 QML 문헌에서 가장 광범위하게 연구되는 네 계열의 양자 알고리즘을 포함한다. 첫째, Havlíček 등이 제안한 양자 커널 방법론은 데이터를 양자 특징 공간으로 사상하여 내적 기반 분류를 수행하는 접근으로, 커널 행렬 추정에 소요되는 회로 깊이와 샷 수가 핵심 측정 대상이 된다. 둘째, Schuld 등의 변분 양자 분류기는 파라미터화된 회로를 고전 최적화 루프와 결합한 구조로, 최적화 수렴 거동과 경량 고원 발현 정도를 추적한다. 셋째, 양자 그래프 신경망 계열은 그래프 구조 데이터의 양자 처리 가능성을 탐색하며, 특히 분자 데이터와 같이 본질적으로 그래프 표현을 갖는 문제에서의 성능을 측정한다. 넷째, PQC 기반 생성 모델 계열은 양자 회로를 생성기로 활용하는 접근으로 샘플 품질과 훈련 안정성을 평가한다. 이 네 알고리즘 계열 각각은 고전 대응 알고리즘인 서포트 벡터 머신, 다층 퍼셉트론, 그래디언트 부스팅 머신과 동일한 데이터셋 및 평가 프로토콜 하에 대조된다. 고전 베이스라인은 하이퍼파라미터 탐색을 충분히 수행한 이후의 최적 구성으로 설정함으로써 공정한 비교 기반을 확보한다.

현실 축은 QMLRB의 가장 차별적인 구성 요소로, 양자 이점 주장의 근거를 세 하위 지표를 통해 체계적으로 검토한다. 탈양자화 가능성 지표는 Tang의 고전적 추천 시스템 논문에서 출발한 탈양자화 이론의 프레임워크를 분류 문제로 확장 적용하여, 양자 커널 방법론에서 주장되는 이점이 저랭크 행렬 근사를 기반으로 한 고전 알고리즘으로 재현 가능한지 여부를 정량적으로 검증한다. 경량 고원 지표는 손실 경관의 분산이 큐비트 수와 회로 깊이에 따라 어떻게 변화하는지를 추적하여, 실제 학습이 가능한 파라미터 공간의 유효 범위를 추정한다. 추가로 회로 깊이 대 정확도 교환 비율을 측정하여 노이즈가 있는 중간 규모 양자 장치에서 실질적으로 실행 가능한 회로 복잡도 범위를 규명한다.

평가에 사용되는 데이터셋은 총 여섯 종으로 구성된다. 고전 기계학습 벤치마크 계열에서는 MNIST를 주성분 분석으로 784차원에서 10차원으로 축소한 버전, Fashion-MNIST의 동일한 차원 축소 버전, 그리고 UCI 저장소의 Covertype 데이터셋이 포함된다. 양자 특화 데이터셋으로는 Cong 등이 제안한 양자 위상 인식 데이터셋이 포함되며, 이 데이터셋은 물리 시스템의 위상 전이를 분류하는 과제로서 양자 알고리즘이 잠재적 구조적 이점을 가질 수 있는 영역을 대표한다. 나머지 두 데이터셋은 분자 그래프 분류 및 시계열 이상 탐지 과제로, 알고리즘 축의 그래프 신경망 계열 및 생성 모델 계열 평가에 각각 대응한다.

측정 지표 체계는 정확도와 F1 점수로 구성된 예측 품질 지표, 벽시계 실행 시간과 샷당 비용으로 구성된 계산 효율 지표, 그리고 회로 깊이 및 이중 큐비트 게이트 수로 구성된 회로 복잡도 지표로 삼분된다. 이 다차원 측정 체계는 단순 예측 정확도 비교를 넘어 실용 배포 맥락에서의 총 비용 프로파일을 평가하는 것을 목표로 한다. 특히 샷당 비용 지표는 클라우드 양자 컴퓨팅 환경에서의 실제 운영 비용을 반영하며, 이는 학문적 벤치마크에서 그동안 간과되어 온 실용성 차원이다.