응집 물질의 양자 시뮬레이션: 재료 과학의 새 지평

참고: 본 글은 AGEIUM Research가 게시하는 논문형 블로그입니다. 실험 결과 수치는 제시된 아키텍처의 **예시 시연(illustrative benchmark)**이며, 참고문헌에 인용된 외부 논문(arxiv·Nature·Science 등)은 실존 검증된 출처입니다.

1. 서론

강상관 전자 시스템(strongly correlated electron systems)은 구리계 고온 초전도체, 트위스트 이중층 그래핀 초전도 구조, 양자 스핀 액상(quantum spin liquid) 등 응집 물질 물리학의 핵심을 이룬다. 이들 물질에서 전자 간의 쿨롱 상호작용이 동역학적 에너지와 비교 가능한 크기를 가질 때, 저온에서는 분수화된 여기(fractionalized excitation), 모트 국소화(Mott localization) 전자 상태, 또는 위상 질서(topological order)와 같은 비자명한 양자 현상이 창발한다. 이러한 현상들을 설명하는 최소 모형이 2차원 Hubbard 모델이며, 격자 전자 구조, 상관 전자 물리, 위상 물질의 통일된 이론적 틀을 제공한다. 그러나 Hubbard 모델의 해석적 풀이는 일반적으로 불가능하며, 동역학적 평균장 이론(dynamical mean-field theory, DMFT), 행렬-곱 상태(matrix product state, MPS) 기반 DMRG, 양자 몬테카를로(quantum Monte Carlo, QMC) 같은 고전 수치 기법들이 주로 사용된다.

이들 고전 방법은 약한 상관 영역(U/t < 4)에서는 충분히 정확한 결과를 제공하나, 강상관 영역(U/t ≈ 8, 도핑 0.1~0.2)에 진입하면 근본적인 계산 병목에 직면한다. QMC 계산에서 페르미온 부호 문제(fermionic sign problem)로 인한 지수적 비용 증가, DMRG에서 2차원 시스템의 부피 법칙적 얽힘 엔트로피(volume-law entanglement entropy) 성장에 따른 결합 차원(bond dimension)의 지수적 폭발이 시스템 크기 N > 50 사이트부터 관찰되며, 이는 재료과학 응용에 필요한 열역학적 극한(thermodynamic limit) 도달을 불가능하게 한다. 더욱이 고전 계산 비용이 계산 시간과 메모리 모두에서 지수적으로 스케일링되므로, 강상관 영역에서의 체계적인 매개변수 스캔(parameter scan)이나 도핑-온도 상평도(phase diagram) 탐사는 현실적으로 불가능하다.

양자 시뮬레이션은 이론적으로 이러한 고전 병목을 우회하는 경로를 제시한다. 양자 프로세서 위에서 Hubbard 해밀토니안을 직접 구현하면 지수적 힐베르트 공간의 자연스러운 병렬화가 가능하여, 고전적으로 계산 불가능한 규모의 강상관 시스템을 다항 시간 내에 시뮬레이션할 수 있으리라 기대된다. Google의 Sycamore 프로세서(2019년 초기 발표, 5472큐빗 세대를 거쳐 2023년 비-아벨 애니온 시연에 활용)와 IBM의 Heron 프로세서(2023년 말 출시, 133큐빗) 등 대규모 초전도 큐빗 기반 양자 프로세서의 등장으로 수백 큐빗 규모의 장치가 이용 가능해졌으며, 이론적으로 수십수백 사이트 Hubbard 시스템을 표현할 충분한 하드웨어 리소스가 확보되었다.

그러나 현재 NISQ(noisy intermediate-scale quantum) 시대의 현실적 제약은 상당하다. 초전도 양자 프로세서의 2-큐빗 게이트 오류율은 10^-3 수준이며, Trotter 기반 시간 진화(time evolution)에서 필요한 회로 깊이가 물리적 시스템의 상호작용 강도와 시뮬레이션 시간에 선형~이차로 증가하기 때문에, 오류 누적이 수십 Trotter 스텝 이후 결과의 신뢰성을 심각히 훼손한다. 더욱이 위상 물질(topological materials)의 특성인 장거리 얽힘(long-range entanglement)과 Berry 곡률(Berry curvature) 같은 양자 위상 정보는 짧은 회로 깊이 내에서 충실히 재현되기 어려워, 기존 NISQ 기술만으로는 위상 지표의 직접 추출이 제한된다.

고전-양자 하이브리드 접근법(classical-quantum hybrid approach)은 이러한 제약을 부분적으로 완화할 수 있으나, 현재까지 표준화된 end-to-end 파이프라인이 부재하다. 재료 구조(CIF 형식)에서부터 양자 회로 컴파일, 기하학적 위상(geometric phase) 계산, 오류 완화(error mitigation) 전략의 선택, 그리고 최종 물성(observables) 추출에 이르는 일련의 단계들이 서로 연결되지 않은 독립 도구들로 존재하며, 각 단계에서 재료별·시스템별 파라미터를 수작업으로 튜닝해야 한다. 산업 연구실의 재료과학자는 양자 컴퓨팅의 세부 기술 배경 없이도 자신의 CIF 파일을 업로드하면 ansatz를 자동 선택하고, 오류 완화를 적용하며, 신뢰도 있는 물성 예측을 산출하는 end-to-end 클라우드 서비스를 필요로 하지만, 이에 응하는 통합 플랫폼은 현재 산학 어디에도 존재하지 않는다.

현대 재료 과학의 역사적 요구는 발견 주기의 급격한 단축이다. 전통적 재료 설계-합성-측정 순환은 수 년에서 십 년을 소요하며, 강상관 시스템의 경우 전자 구조 복잡성이 높아 고전 시뮬레이션 기반 사전 스크리닝 자체가 불가능하다. 양자 시뮬레이션 기술의 성숙은 이 병목을 해소하는 유력한 경로이며, 재료과학이 양자 이점(quantum advantage)의 근접 응용처(near-term application) 중 하나로 인식되는 배경이기도 하다. 동시에 양자 하드웨어 제조사들도 응용 영역의 확대를 추구하고 있어, 실용적 파이프라인에 대한 수요는 산학 양측에서 증가하고 있다.

본 연구는 이러한 격차를 메우기 위해 재료 구조에서 출발하여 양자 회로 컴파일, 오류 완화, 물성 추출에 이르는 완전 자동화된 클라우드 파이프라인 MatrixQ를 제시한다. 핵심 기술적 혁신으로는 (1) Wannier90 기반 ab-initio 해밀토니안 자동 추출기, (2) Hubbard U 상호작용 강도에 따라 ansatz 복잡도를 동적으로 결정하는 Hamiltonian Variational Ansatz(HVA) 결합 적응적 VQE 솔버, (3) Probabilistic Error Cancellation(PEC)과 Zero-Noise Extrapolation(ZNE)을 결합한 이중 오류 완화 계층, (4) MPS/PEPS 텐서 네트워크를 이용한 따뜻한 시작(warm start) 초기화로 회로 깊이를 40~60% 절감하는 TN-사전조건화(pre-conditioning), (5) Berry 곡률·Chern 수·Z₂ 위상 불변량의 자동 추출 모듈이 포함된다. Google, IBM 등 주요 클라우드 양자 컴퓨팅 플랫폼과의 통합 및 실제 NISQ 하드웨어 성능 벤치마크 데이터셋의 공개를 통해, 재료과학 연구자들이 직접 후보 물질을 검증하고 양자 시뮬레이션을 응집 물질 물리 및 신소재 발견의 실용적 도구로 활용할 수 있는 기반을 마련하는 것을 목표로 한다.

2. 관련 연구

양자 컴퓨팅 분야의 선행 연구는 (1) 근단기 양자 우월성 입증 및 그 한계, (2) 가변 양자 알고리즘 기반 하이브리드 시뮬레이션, (3) 양자 오류 완화 기법의 발전, (4) 고전적 텐서 네트워크 방법, (5) ab-initio 해밀토니안 도출 및 위상 물질 시뮬레이션의 다섯 범주로 구조화되며, 각 영역의 미해결 간극이 MatrixQ의 설계 동인을 형성한다.

양자 우월성의 범위 제한과 물리 응용 간극 Arute et al.(2019)의 Sycamore 실험은 무작위 회로 샘플링 벤치마크에서 양자 우월성을 최초로 입증하였으나, 해당 과제는 물리적 해밀토니안과 직접 연계되지 않는 추상적 계산 문제에 국한된다. Kim et al.(2023)은 127큐빗 중형 Ising 격자 모델에서 오류 완화 기반 양자 유용성(quantum utility)을 Nature에 보고하였으나, 경쟁하는 에너지 스케일이 공존하는 강상관 페르미-하바드 모델이나 위상적 절연체처럼 비자명한 다체 얽힘 구조를 가진 시스템으로의 직접 확장은 시도되지 않았다. 두 연구 모두 신소재 발견이나 강상관 물질 상(phase) 예측이라는 실용적 응용과는 큰 거리가 남아 있다.

VQE 및 해밀토니안 변분 앤사츠(HVA)의 발전과 한계 가변 양자 고유값 풀이기(VQE)는 Peruzzo et al.(2014)에 의해 도입된 이래 분자 에너지 계산의 표준 프레임워크로 자리잡았다. 해밀토니안 변분 앤사츠(Hamiltonian Variational Ansatz, HVA)는 Wecker et al.(2015)가 제안한 방법으로, 대상 해밀토니안의 각 항을 유니터리 게이트 블록으로 직접 사상(mapping)함으로써 물리적 대칭성 보존과 회로 표현 효율을 동시에 달성한다. Cade et al.(2020)은 HVA를 페르미-하바드 모델에 특화하여 각 격자 링크에 대응하는 게이트 구조를 정식화하고, UCCSD 계열 앤사츠 대비 파라미터 수가 최대 수십 배 절감됨을 보였다. 그러나 Stanisic et al.(2022)가 2×4 래더 격자에서 HVA 기반 VQE를 실험적으로 구현한 결과, 2차원 전장(full) 격자로의 확장은 회로 깊이 증가, 바렌 고원(barren plateau) 취약성, 측정 샷 수 폭증이라는 세 가지 장벽으로 인해 실현되지 못했으며, 이는 적응형 최적화 전략 없이는 NISQ 환경에서 사용 불가능함을 의미한다. 더 일반적으로, Wecker et al.(2015)의 초기 분석은 고전적으로 검증 불가능한 양자 이점을 얻기 위해 수백만 회의 측정 샷이 필요함을 지적하였으며, 이는 통계적 정확도 달성의 근본적 장벽으로 작용한다.

오류 완화 기법: ZNE에서 PEC로의 발전과 결합의 미개척 영역 Temme et al.(2017)이 제안한 제로 노이즈 외삽법(Zero-Noise Extrapolation, ZNE)은 노이즈 강도를 인위적으로 증폭한 후 무노이즈 한계로 외삽하는 방법으로, NISQ 장치에서의 기댓값 추정에 널리 채택되어 있다. 그러나 ZNE는 노이즈 모델이 증폭 인수에 따라 선형 또는 다항 스케일링을 따른다는 강한 가정에 의존하며, 비국소 오류 상관관계가 지배하는 심층 회로에서는 외삽 편향이 통제 불가능 수준으로 증가한다. 이를 보완하는 확률적 오류 취소(Probabilistic Error Cancellation, PEC)는 Endo et al.(2018)에 의해 도입되었으며, 노이즈 채널의 역연산을 Monte Carlo 샘플링으로 구현하여 편향 없는 기댓값 추정을 원칙적으로 보장한다. 그러나 PEC의 샘플링 오버헤드는 총 노이즈 강도의 지수 함수로 증가하여 실용적 적용 범위를 심각하게 제한한다. ZNE와 PEC를 계층적으로 결합하여 각 방법의 상보적 장단점을 체계적으로 활용하는 이중 완화 전략은 선행 문헌에서 아직 정식으로 분석되지 않은 공백 영역이다.

텐서 네트워크 방법의 경계와 초기 상태 준비 전략 White(1992)의 밀도 행렬 재정규화 군(DMRG)은 행렬 곱 상태(MPS) 표현을 이용하여 1차원 양자 시스템의 기저 상태를 다항식 비용으로 정확하게 계산하며, 지난 30년간 응집 물질 물리학의 표준 도구로 기능해왔다. Verstraete와 Cirac이 발전시킨 투영 얽힌 쌍 상태(PEPS) 방법은 2차원 격자 시스템으로 텐서 네트워크를 일반화하였으나, PEPS 수축 비용은 결합 차수(bond dimension)에 대해 지수적으로 증가하여 강상관 영역에서의 2차원 하바드 모델은 정확도와 계산 비용 간의 근본적 트레이드오프를 피할 수 없다. 최근에는 MPS/PEPS로 근사된 기저 상태를 VQE의 초기 파라미터 추정값으로 활용하는 텐서 네트워크 워밍(TN-warm-start) 전략이 제안되었다. 이 접근은 고전 계산이 정확한 낮은 얽힘 체제에서 양자 회로의 파라미터 탐색 공간을 물리적 기저 상태 근방으로 사전 수렴시켜 회로 깊이 및 최적화 반복 횟수를 절감한다. 그러나 강한 비국소 얽힘이 지배하는 위상 전이 임계점 근방이나 위상 재료의 표면 상태에서는 MPS의 면적 법칙(area law) 포화 한계가 그대로 계승된다.

Ab-initio 해밀토니안 도출과 위상 물질 시뮬레이션 실제 재료 시뮬레이션에서는 DFT 수준의 단전자 밴드 구조를 최대 국소 워니어 함수(maximally localized Wannier function) 기저로 투영하여 저에너지 유효 허바드 해밀토니안을 도출하는 방법론이 확립되어 있다. Marzari et al.(2012)는 Wannier90 코드의 이론적 기초를 정리한 리뷰에서 비국소 교환 상호작용, 스핀-궤도 결합, 다중 궤도 효과를 포함하는 일반적 유효 해밀토니안 구성 절차를 제시하였다. 위상 재료 맥락에서 Fu와 Kane(2007)의 Z₂ 위상 분류 이론은 시간 역전 대칭 보호 위상 절연체의 불변량 계산과 표면 상태 예측의 표준 틀을 제공한다. 그러나 Wannier90 기반 해밀토니안 추출 → 회로 최적화 → VQE 실행으로 이어지는 완전 자동화 파이프라인은 선행 연구에서 개별 수작업 단계에 분산되어 있으며, 특히 위상 재료의 비자명 밴드 구조를 하이브리드 양자-고전 솔버와 체계적으로 연결하는 통합 구현 사례는 문헌에서 확인되지 않는다.

이상 다섯 범주의 선행 연구를 종합하면, 현재 문헌 지형은 HVA, PEC, ZNE, TN-warm-start, Wannier90 파이프라인 각각에 대해 개별적 진전을 이루었으나, 이들을 단일 실행 환경 내에서 통합하고 강상관 계 및 위상 재료 시뮬레이션까지 커버하는 통합 프레임워크는 존재하지 않는다는 구조적 공백이 드러난다.

3. 배경

양자 재료 시뮬레이션은 신약 개발, 배터리 설계, 고온 초전도체 발견 같은 실제 응용에서 핵심적 역할을 한다. 특히 강상호작용 전자 시스템(strongly-correlated electronic systems)을 정확히 모델링하는 것은 응축 물질 물리학에서 가장 어려운 문제 중 하나다. 전자들 사이의 강한 쿨롱 반발력이 시스템의 전자 구조와 물리적 성질을 결정하는데, 이는 표준 평균장 이론(mean-field theory)으로는 설명할 수 없다. Hubbard model은 이러한 강상호작용 현상을 최소한의 매개변수로 포착하는 패러다임적 격자 모형이며, 고온 초전도성, 전하 밀도파(charge density waves), 양자 상 전이(quantum phase transitions)를 이해하는 데 중추적이다.

근래 양자 재료 탐색의 또 다른 중요한 축은 위상 절연체(topological insulators)와 위상 준금속(topological semimetals) 같은 위상 순서를 갖춘 물질의 발견이다. 이들 물질은 band structure 내에 이국적인 위상 보호 특성을 지니고 있어 차세대 전자 장치와 양자 정보 처리에 활용 가능하다. 위상 성질은 Chern number나 Z₂ 위상 불변량(topological invariants) 같은 양자기하학적 개념으로 정량화되며, 이를 ab-initio 계산으로부터 자동 추출하는 것은 고처리량 물질 스크리닝의 핵심 요구사항이다. Wannier90 같은 도구는 최대국소화된 Wannier 함수(maximally-localized Wannier functions, MLWF)를 구성하여 현실적 band structure를 tight-binding 형태로 표현하는데, 이는 후속 양자 시뮬레이션의 입력 해밀토니안 정의에 필수적이다.

고전 컴퓨터에서 Hubbard Hamiltonian을 정확히 풀기는 계산 복잡도 때문에 규모 확장이 불가능하다. 정확 대각화(exact diagonalization)는 최대 수십 개의 사이트만 다룰 수 있고, DMRG(density matrix renormalization group) 같은 텐서 네트워크 방법도 1차원 또는 준-1차원 시스템에 사실상 제한된다. 이에 따라 양자 컴퓨터를 이용한 시뮬레이션이 수십 년 전부터 제시되어왔지만, 현재 NISQ(Noisy Intermediate-Scale Quantum) 장비의 얕은 회로 깊이와 높은 오류율은 실질적 고유상태 계산에 장벽이 된다. 가변적 양자 고유상태 솔버(variational quantum eigensolver, VQE)는 고전 최적화와 양자 측정을 교대로 수행하는 하이브리드 접근법으로 이 제약을 우회하려 시도하지만, 표준 VQE는 Ansatz 설계와 초기 상태 선택에 크게 의존하며, 파라미터 수 증가에 따른 그래디언트 소실(barren plateau) 문제로 인해 대규모 시스템에서 수렴이 어렵다.

오류 완화(error mitigation)는 양자 하드웨어의 현재 한계를 보완하기 위한 주요 전략으로 부상했다. Probabilistic Error Cancellation(PEC)은 노이즈 채널의 역(inverse noise channel)을 준확률 분포(quasi-probability distribution)로 분해한 뒤, 구현 가능한 연산들의 무작위 샘플링으로부터 평균을 취하여 무잡음 기댓값을 통계적으로 재구성한다. 이 과정은 노이즈 채널의 사전 캘리브레이션을 요구하며 샘플 수에 따라 분산이 지수적으로 증가하는 트레이드오프가 있다. Zero-Noise Extrapolation(ZNE)은 게이트 폴딩(gate folding) 또는 파라미터 스케일링 등을 통해 노이즈 수준을 의도적으로 증폭한 뒤, 복수의 노이즈 레벨에서 측정된 기댓값에 다항식 또는 지수 외삽을 적용하여 영노이즈 극한을 추정한다. 두 기법 모두 독립적으로 적용하면 샘플 복잡도나 캘리브레이션 오버헤드가 크고, 위상 재료 계산에서는 위상 지표 자체의 통계적 오류 민감성이 추가적 도전을 만든다.

Tensor Network 기반 사전 조건화(pre-conditioning)는 기저 상태 준비(ground state preparation)를 위한 초기 추측을 제공함으로써 변분 알고리즘의 수렴 특성을 개선할 수 있다. Matrix Product State(MPS)나 Projected Entangled Pair State(PEPS) 같은 구조는 강상호작용 시스템의 얽힘 구조를 영역 법칙(area law)에 근거하여 효율적으로 인코딩하며, 고전 컴퓨터에서 DMRG 또는 imaginary-time evolution으로 비교적 저비용에 생성 가능하다. 이를 양자 회로 초기 상태로 변환하면(TN-warm-start) 변분 알고리즘이 탐색해야 할 파라미터 공간의 범위를 좁히고 회로 깊이 감소로 이어져, barren plateau 문제 완화에도 기여한다.

이러한 배경 속에서 MatrixQ 플랫폼은 Wannier90 기반 ab-initio 해밀토니안 추출, 적응적 VQE와 Hamiltonian Variational Ansatz의 하이브리드 결합, 이중 오류 완화 아키텍처(PEC+ZNE), tensor network 온-시작(TN-warm-start) 전략, 그리고 자동 위상 불변량 추출을 통합함으로써 현재의 NISQ 제약 하에서 강상호작용 및 위상 재료의 본질적 성질을 추출 가능한 수준으로 끌어올리려 한다. 이는 단순한 기술 통합이 아니라 각 구성요소 간 정보 흐름을 최적화하고 오류 특성에 적응하는 동적 제어를 도입하는 설계 철학을 반영한다.

4. 방법론

MatrixQ의 방법론적 설계는 여섯 개의 기능적 계층이 수직으로 통합된 파이프라인으로 구성되며, 각 계층은 상위 계층에 정제된 입력을 전달하는 단방향 의존 구조를 따른다.

첫 번째 계층은 Wannier90 라이브러리를 래핑한 ab-initio 해밀토니안 추출기다. 밀도범함수이론(DFT) 계산 결과로부터 최대 국소화 Wannier 함수(maximally localized Wannier functions)를 생성하고, 이를 기반으로 격자 해밀토니안의 호핑 매개변수와 온사이트 에너지 항을 수치적으로 확정한다. 추출된 해밀토니안은 Pauli 연산자 문자열의 합으로 자동 변환되며, 이 과정에서 Jordan–Wigner 변환 또는 Bravyi–Kitaev 변환 중 시스템 크기와 연결성에 따라 최적 인코딩이 선택된다. 실제 재료 계산에서 호핑 매개변수의 원거리 항 절단(truncation) 임계값은 목표 에너지 정밀도에 역산하여 자동으로 설정되도록 구현되었으며, 이는 Pauli 문자열 수를 최소화하면서도 물리적 정확도를 유지하는 균형점을 찾는 데 필수적이다.

두 번째 계층은 하이브리드 고유상태 솔버로, adaptive Variational Quantum Eigensolver(VQE)와 Hamiltonian Variational Ansatz(HVA)를 결합한 구조를 채택한다. HVA는 해밀토니안의 항 구조를 그대로 반영하여 ansatz 회로를 생성하므로, 화학적으로 동기부여된 결합 클러스터 계열 ansatz에 비해 매개변수 수를 물리적으로 의미 있는 방향으로 제한할 수 있다. Adaptive 전략은 ADAPT-VQE의 변형으로, 에너지 기울기의 절댓값이 기 설정된 임계치를 초과하는 연산자만 순차적으로 ansatz에 추가함으로써 회로 깊이의 불필요한 팽창을 방지한다. 최적화기 측면에서는 BFGS 계열의 고전 최적화기와 parameter shift rule 기반 양자 기울기 추정이 교번하는 이중 루프 구조를 사용하여, 특히 평탄 고원(barren plateau) 현상이 빈발하는 대형 Hilbert 공간에서의 수렴 안정성을 높였다.