연세소식

[사진. (왼쪽부터) 첨단컴퓨팅학부 인공지능학과 여진영 교수, 옹주윤 통합과정생, 강민석 통합과정생, 최동욱 석사과정생]

 

첨단컴퓨팅학부 인공지능학과 여진영 교수팀이 AI가 다른 AI 에이전트의 문제점을 찾아 스스로 개선하는 시대에 필요한 핵심 평가 기술을 개발했다. 이번 연구 성과는 오는 12월 호주 시드니에서 개최되는 세계 최고 권위의 머신러닝 학술대회 신경정보처리시스템학회(Neural Information Processing Systems, NeurIPS) 2026에서 발표될 예정이다.

 

최근 AI는 사람의 질문에 답하는 수준을 넘어, 소프트웨어를 개발하고 데이터를 분석하며 복잡한 업무를 수행하는 'AI 에이전트'로 발전하고 있다. 그러나 이러한 에이전트가 실제로 일하기 위해서는 사람이 업무에 맞는 지침을 작성하고, 필요한 도구를 연결하며, 작업 절차를 설계해야 한다.

 

연구팀은 사람이 일일이 AI를 설계하는 대신, AI가 다른 AI의 업무 방식을 만들고 문제점을 찾아 지속적으로 개선하는 핵심 기술을 개발했다. 이를 기반으로 '에이전트를 만드는 에이전트'의 시대가 열릴 것으로 전망했다.

 

기업 환경에서는 이러한 변화가 매우 중요하다. 고객 상담, 소프트웨어 개발, 데이터 분석 등 다양한 업무에 수천~수만 개의 AI 에이전트를 활용하려면 구축과 관리 과정의 자동화가 필요하다. 사람이 직접 에이전트를 만들고 관리하는 데는 한계가 있기 때문이다.

[그림. AI Agent의 업무 수행 방식 진단 및 최적화 구조 모식도]

 

연구팀은 이러한 자동화가 아직 완벽하지 않다는 점에 주목했다. AI가 다른 AI 에이전트를 개선하려고 시도하더라도, 정작 무엇을 고쳐야 하는지 잘못 판단하면 성능이 오히려 떨어질 수 있기 때문이다.

 

실제 연구 결과, 현재의 AI는 에이전트를 자동으로 개선하는 과정에서 약 45~48%의 수정에서 잘못된 선택을 할 수 있는 것으로 나타났다. 이는 AI가 스스로 다른 AI를 개선하는 기술이 발전하더라도, 그 판단이 올바른지 확인하는 과정이 반드시 필요하다는 것을 보여준다.

 

이에 연구팀은 AI가 "지금 무엇을 먼저 고쳐야 하는가"를 얼마나 정확하게 판단하는지 평가하는 새로운 방법을 개발했다. 기존에는 AI 에이전트의 개선 능력을 평가하기 위해 실제 최적화 과정을 여러 차례 반복해야 했지만, 연구팀은 개선 대상에 대한 판단을 직접 평가하는 방식으로 이러한 부담을 크게 줄였다.

 

새로운 평가 방식은 기존 방법보다 약 8배 저렴하고 17배 빠른 것으로 나타났다. 이를 통해 기업은 다양한 AI 자동화 시스템 가운데 적합한 기술을 효율적으로 선별하고, 잘못된 개선 판단을 사전에 발견하는 품질관리 체계를 구축할 수 있을 것으로 기대된다.

 

이번 연구에서 다룬 핵심 개념은 AI 에이전트의 '하네스(Harness)'다. 하네스란 AI가 어떤 지침을 따르고, 어떤 도구를 사용하며, 무엇을 기억하고, 어떤 순서로 업무를 수행할지를 결정하는 시스템을 의미한다. 쉽게 말해 AI의 두뇌 자체가 아니라, AI가 실제 업무를 잘 수행하도록 만드는 '업무 환경과 작업 방식'에 해당한다.

 

여진영 교수는 “과거에는 프롬프트를 잘 만들고, 도구를 연결하고, 작업 절차를 설계하는 것이 인간의 중요한 역할이라고 생각했지만, 이제는 그 과정마저 AI가 자동화하기 시작하고 있다”며 “앞으로 기업에서는 하나의 AI 모델 성능보다 각 회사의 업무에 맞는 AI 에이전트를 얼마나 빠르고 안정적으로 만들고, 수천 개 단위로 관리하고 개선할 수 있는지가 중요해질 것”이라고 말했다.

 

이어 “이번 연구는 단순히 하나의 에이전트를 더 잘 만드는 기술이 아니라, AI가 AI 에이전트를 만들고 관리하는 시대에 필요한 자동화와 품질관리 기술을 다룬다는 데 의미가 있다”며 “궁극적으로는 AI 에이전트를 만드는 과정까지 자동화하는 새로운 산업 생태계의 기반이 될 것으로 기대한다”고 덧붙였다.

 

이번 연구는 첨단컴퓨팅학부 인공지능학과 옹주윤, 강민석, 최동욱 학생이 공동 제1저자로, 여진영 교수가 교신저자로 참여하고, 정보통신기획평가원 과제의 지원을 받아 수행됐다.