양자 컴퓨터 연구실의 엔지니어는 실험 하나를 시작하기 전 며칠 동안 하드웨어 수치를 미세하게 조정하는 캘리브레이션 작업에 매달린다. 주변 소음 하나에 큐비트(양자 정보의 기본 단위) 상태가 무너지는 환경에서 이 과정은 수동으로 이루어지며, 정작 중요한 연산 시간보다 준비 시간이 더 길어지는 병목 현상이 반복된다.

NVIDIA Ising의 구성과 성능 지표

NVIDIA가 공개한 Ising은 양자 프로세서의 캘리브레이션과 오류 수정을 자동화하는 오픈 AI 모델 제품군이다. 이 제품군은 Ising Calibration과 Ising Decoding이라는 두 가지 핵심 구성 요소로 나뉜다. Ising Calibration은 VLM(시각 언어 모델) 구조를 채택하여 양자 프로세서의 측정값을 빠르게 해석하고 반응한다. 이를 통해 하드웨어 진단 리포트를 실시간으로 감시하며 시스템을 최적 상태로 조정하며, 기존에 며칠이 소요되던 캘리브레이션 시간을 몇 시간 단위로 단축시킨다.

Ising Decoding은 3D CNN(3차원 합성곱 신경망) 모델의 두 가지 변형으로 제공된다. 하나는 처리 속도에 최적화되었고, 다른 하나는 정확도에 최적화된 모델이다. 이 모델들은 양자 오류 수정을 위한 실시간 디코딩을 수행하며, 현재 업계 표준인 pyMatching(양자 오류 수정을 위한 오픈소스 표준 라이브러리)과 비교해 최대 2.5배 빠른 속도와 3배 높은 정확도를 기록했다.

해당 모델들은 NVIDIA CUDA-Q(양자-고전 하이브리드 컴퓨팅을 위한 소프트웨어 플랫폼)와 통합되며, NVIDIA NVQLink(GPU와 QPU를 연결하는 하드웨어 인터커넥트)를 통해 QPU(양자 처리 장치)와 GPU 간의 저지연 통신을 지원한다. 현재 Atom Computing, Harvard John A. Paulson School of Engineering and Applied Sciences, 연세대학교를 포함한 다수의 대학과 국가 연구소, 상용 양자 하드웨어 기업들이 이 모델을 도입하여 운용 중이다.

하드웨어의 물리적 한계를 소프트웨어 지능으로 보완하는 구조

그동안 양자 컴퓨팅은 하드웨어의 물리적 성능 향상에도 불구하고, 이를 제어하는 소프트웨어의 수동 작업 때문에 실용화 단계로 넘어가지 못했다. 큐비트의 민감성으로 인해 발생하는 오류를 실시간으로 잡아내지 못하면 연산 결과의 신뢰도가 급격히 떨어지기 때문이다. 여기서 AI가 해결책이 되는 이유는 인간이 일일이 설정하기 어려운 복잡한 노이즈 패턴을 모델이 스스로 학습하고 즉각적으로 대응할 수 있기 때문이다.

Ising Decoding이 보여준 정확도와 속도의 향상은 단순한 수치 개선 이상의 의미를 갖는다. 오류 수정 속도가 연산 속도를 따라잡지 못하면 양자 상태가 유지되는 짧은 시간 안에 계산을 끝낼 수 없다. 2.5배의 속도 향상은 더 복잡한 알고리즘을 실행할 수 있는 시간적 여유를 확보했다는 뜻이다. 결국 하드웨어의 물리적 결함을 AI 모델이 실시간으로 보정하는 하이브리드 제어 체계가 구축된 것으로 분석된다. 이는 양자 컴퓨터의 가동률을 비약적으로 높여 실험실 수준의 장비를 실제 애플리케이션 실행이 가능한 수준으로 끌어올리는 핵심 동력이 된다.

이제 양자 컴퓨팅의 승부처는 큐비트의 개수가 아니라 이를 제어하는 AI 모델의 최적화 수준으로 옮겨간다.