연세소식

[사진. 박유랑 의과대학 의생명시스템정보학교실 교수]

 

우리 대학교 의과대학 의생명시스템정보학교실 박유랑 교수와 연세의료원 심우섭 연구팀이 양자컴퓨터를 활용한 인공지능(AI) 학습에서 데이터에 적합한 양자회로의 연결 구조를 사전에 선택하는 기술을 개발했다. 연구팀은 국제캠퍼스에 설치된 양자컴퓨터에서 기술의 성능을 검증했으며, 연구 결과는 국제 인공지능 학술대회 ‘NeurIPS 2026(Conference on Neural Information Processing Systems)’에 채택됐다.

 

양자 머신러닝은 양자컴퓨터의 특성을 활용해 데이터를 학습하는 AI 기술이다. 이때 양자정보의 기본 단위인 큐비트(Qubit)를 서로 연결하는 ‘양자 얽힘(Entanglement)’ 구조는 모델이 복잡한 정보를 표현하는 데 중요한 역할을 한다.

 

그러나 큐비트 간 연결이 지나치게 단순하면 복잡한 데이터를 충분히 표현하기 어렵고, 연결이 많아지면 연산 오류가 증가하거나 학습이 어려워질 수 있다. 따라서 데이터의 특성에 맞는 연결 구조를 선택하는 것이 중요하다.

 

기존에는 미리 정해진 연결 구조를 사용하거나 여러 양자회로를 직접 학습하고 평가해 적합한 구조를 선택했다. 하지만 비교할 회로가 많아질수록 반복적인 연산이 필요해 계산 비용이 증가하는 한계가 있었다.

 

연구팀은 이러한 문제를 해결하기 위해 양자 상태 사이의 차이를 수치로 나타내는 ‘힐베르트-슈미트 거리(Hilbert–Schmidt Distance, HSD)’를 활용했다. 이를 통해 데이터의 양자 상태가 얼마나 가깝거나 멀리 분포하는지가 AI 학습에 미치는 영향을 수학적으로 규명했다.

[그림. AI 학습에 유리한 양자 데이터의 배치 구조. 같은 종류의 데이터는 가깝게, 다른 종류의 데이터는 멀리 분포할수록 학습에 유리하다.]

 

특히 같은 종류의 데이터가 만드는 양자 상태의 분포는 학습 과정의 변동과 관련되고, 서로 다른 종류의 데이터 간 차이는 데이터를 구분하는 데 필요한 학습 신호와 관련된다는 점을 확인했다. 이를 바탕으로 학습의 안정성과 데이터 구분 능력을 함께 고려해 양자회로의 연결 구조를 선택하는 알고리즘을 개발했다. 또한 데이터를 일일이 쌍으로 비교하는 대신 개별 데이터의 양자 상태 정보를 활용하도록 설계해 회로 선택에 필요한 계산 부담을 줄였다.

 

연구팀은 다양한 양자회로 구조와 데이터셋을 활용해 알고리즘의 성능을 검증했다. 110개의 회로 구조와 440개의 실험 조건에서 이론적 관계가 일관되게 나타났으며, 큐비트 수와 데이터 등을 달리한 추가 실험에서도 유사한 결과를 확인했다. 손글씨 숫자와 의류 이미지, 심장질환 데이터 등을 구분하는 실험에서는 학습 없이 회로를 선택하는 비교 방법들 가운데 가장 높은 평균 분류 성능을 보였다. 13큐비트 기반 시뮬레이션에서는 가장 성능이 높은 비교 방법보다 약 60분의 1 수준의 비용으로 회로 구조를 선택했다.

 

실제 양자컴퓨터를 활용한 검증도 진행했다. 연구팀은 국제캠퍼스의 ‘IBM 퀀텀 시스템 원(IBM Quantum System One)’에서 회로 구조 선택부터 AI 학습과 평가까지 전 과정을 수행했다. 그 결과, 얽힘 게이트를 무작위로 배치한 회로와 비교한 6차례 실험에서 모두 더 높은 성능을 보였다.

 

또한 큐비트를 순서대로 연결하는 기존 선형 구조보다 적은 얽힘 게이트를 사용하면서도 더 높은 성능을 기록했다. 이는 데이터에 필요한 연결 구조를 선택하는 방식이 실제 양자컴퓨터에서도 효과적일 가능성을 보여준다.

 

박유랑 교수는 “양자컴퓨터에서는 회로를 크게 만드는 것뿐 아니라 주어진 데이터와 문제에 필요한 연산을 어떻게 선택할 것인지가 중요하다”며 “이번 연구에서 제시한 기하학적 관점이 양자 머신러닝의 회로 구조와 학습 가능성을 이해하는 하나의 기반이 되기를 기대한다”고 말했다.

 

이번 연구는 AI 학습을 시작하기 전에 데이터의 특성을 분석해 적합한 양자회로 구조를 선택할 수 있다는 이론적 근거를 제시했다는 점에서 의미가 있다. 향후 더 큰 규모의 양자 머신러닝과 실제 데이터를 활용한 양자 AI 연구에 적용될 가능성이 기대된다.