연세소식

[사진. 응용통계학과 박경덕 교수, 김길한 연구원, 서울대 물리천문학부 김주연 연구원]

 

응용통계학과·양자정보학과 박경덕 교수 연구팀이 양자컴퓨팅을 활용해 생성형 인공지능(AI) 학습의 효율을 높일 수 있는 새로운 방법을 제시했다. 연구팀은 양자어닐러(Quantum Annealer)를 이용해 에너지 기반 생성형 AI 학습 과정의 핵심 병목으로 꼽히는 ‘샘플링(Sampling)’ 문제를 개선했으며, 실제 이미지 데이터 학습에서 기존 방식보다 더 빠른 학습 속도와 낮은 오류를 확인했다. 연구 결과는 2026년 3월 물리학 분야 국제 학술지 ‘Physical Review E’에 게재됐다.

 

생성형 AI는 데이터의 패턴과 확률구조를 학습해 새로운 데이터를 만들어내는 기술이다. 그중 에너지 기반 생성모델은 데이터가 얼마나 자연스럽고 그럴듯한지를 '에너지'라는 물리학적 개념으로 표현한다. 에너지가 낮을수록 모델이 더 그럴듯하다고 판단하는 데이터에 해당한다. 이러한 방식은 복잡한 데이터의 구조를 해석하는 데 유용하지만, 학습 과정에서 모델이 만들어내는 확률분포로부터 많은 샘플을 얻어야 해 계산이 어렵다는 한계가 있다.

 

볼츠만 머신은 대표적인 에너지 기반 생성모델로, 현대 인공지능의 통계물리학적 뿌리 중 하나로 꼽힌다. 특히 일반적인 볼츠만 머신은 변수 간 연결을 자유롭게 허용해 복잡한 데이터 패턴을 풍부하게 표현할 수 있다. 하지만 학습에 필요한 샘플을 효율적으로 생성하기 어려워 실제 활용은 제한적이었다.

 

연구팀은 이 문제를 양자컴퓨팅 기술로 해결할 가능성을 제시했다. 기존에는 양자어닐러가 주로 최적화 문제를 푸는 장치로 연구돼 왔지만, 이번 연구에서는 양자어닐러를 확률분포를 생성하는 ‘물리적 샘플러’로 활용했다. 특히 생성된 양자 샘플을 실제 AI 모델 학습에 직접 적용해 성능 향상으로 연결했다는 점에서 의미가 있다.

 

연구팀은 양자사업단 양자선도융합사업본부에서 도입한 D-Wave Advantage2 양자어닐러 클라우드 서비스를 이용해 MNIST와 Fashion-MNIST 이미지 데이터셋 학습 실험을 수행했다. 실험에는 총 1,984개 노드 규모의 모델이 사용됐으며, 28×28 전체 픽셀 데이터를 차원 축소 없이 직접 학습에 활용했다. 이는 현재 활용 가능한 양자 하드웨어 환경에서 약 2,000개 큐비트 규모의 생성모델 학습을 수행한 사례라는 점에서 의미가 크다.

[그림. 다이아바틱 양자어닐링을 통한 MNIST와 Fashion-MNIST 이미지 데이터셋에 대한 학습 실험 모식도]

 

실험 결과, 양자어닐링 기반 학습은 기존 고전적 샘플링 방식보다 더 빠르게 학습이 진행됐고, 검증 오류(Validation Error)도 더 낮게 나타났다. 또한 샘플 생성 속도 역시 기존 방식보다 빨라, 양자어닐러가 실제 생성형 AI 학습 과정에서 유의미한 역할을 할 수 있음을 보여줬다.

 

연구팀은 또한 실제 양자 하드웨어에서 발생하는 오차 문제도 함께 분석했다. 양자어닐러가 생성하는 샘플은 열적 효과나 잡음 등의 영향으로 이론값과 차이를 보일 수 있는데, 연구팀은 이를 보정하기 위해 에너지 함수의 결합 세기를 조정하는 방법을 제안했다. 이를 적용한 결과 목표 확률분포에 더 가까운 샘플을 얻을 수 있었고, 학습 성능 역시 개선되는 것을 확인했다.

 

이번 연구의 핵심 의의는 그동안 계산 복잡도 문제로 활용이 어려웠던 볼츠만 머신 학습을 양자 하드웨어 기반으로 다시 구현할 가능성을 제시했다는 데 있다. 기존 방식은 계산 효율을 위해 모델 구조를 단순화해야 했지만, 양자 샘플링은 이러한 구조적 제약을 줄일 수 있어 보다 복잡한 생성모델 학습으로 확장될 가능성을 보여줬다.

 

연구팀은 이번 성과를 바탕으로 볼츠만 머신을 현대 생성형 AI 모델의 핵심 구성 요소로 확장하는 후속 연구도 진행하고 있다. 이를 통해 분자의 구조와 특성을 에너지 지형으로 표현하고, 원하는 물성을 가진 후보 물질을 생성하는 분자설계 및 신약개발 분야로의 응용 가능성을 검토하고 있다.

 

박경덕 교수는 “이번 연구는 양자컴퓨팅을 활용해 기존에는 계산 부담이 너무 커 실제 활용이 어려웠던 에너지 기반 생성모델의 가능성을 다시 확인했다는 점에서 의미가 있다”며 “양자 하드웨어가 아직 발전 단계에 있지만, 알고리즘을 잘 설계하면 현재 기술 수준에서도 의미 있는 AI 학습이 가능하다는 점을 보여줬다”고 설명했다. 이어 “양자 샘플링은 양자컴퓨팅의 핵심 개념 중 하나였지만 실제 응용 분야와 연결하는 것은 중요한 과제였다”며 “이번 연구는 생성형 AI 학습이라는 구체적 문제에 양자컴퓨팅을 적용했다는 점에서 의미가 있다”고 말했다.

 

이번 연구에는 김길한 연구원과 김주연 서울대 연구원이 공동 제1저자로 참여했으며, 박경덕 교수가 교신저자로 참여했다. 연구는 과학기술정보통신부 정보통신기획평가원(IITP), 한국연구재단 양자컴퓨팅기반양자이득도전사업, 산업통상자원부 한국산업기술진흥원의 산업혁신기반구축사업, 보건복지부 한국보건산업진흥원의 한국형 ARPA-H 프로젝트 지원을 받아 수행됐다.