MERIT, 초장시간 비디오 이해의 새로운 기준 제시
- 2026.10.27
[사진. (왼쪽부터) 컴퓨터과학과 최예은, 유영범, 강효림 박사과정생, 김선주 교수]
인공지능(Artificial Intelligence, AI) 기술이 빠르게 발전하면서 다양한 과제를 효과적으로 수행하기 위한 AI 모델이 개발되고 있다. 그중 멀티모달 대규모 언어모델(Multimodal Large Language Model, MLLM)은 텍스트뿐 아니라 이미지와 영상 등 다양한 형태의 데이터를 처리하고 추론하는 시스템이다. MLLM의 비디오 이해 및 비디오 기반 데이터 생성 능력은 지속적으로 향상되고 있지만, 처리할 수 있는 비디오의 길이는 여전히 주요 한계로 남아 있다. 현재의 모델로는 수 시간에서 수일에 이르는 비디오를 처음부터 끝까지 처리하기가 현실적으로 어렵다.
기존 연구에서는 계층적·그래프 기반 메모리를 활용해 비디오 정보를 여러 수준으로 요약하고, 사건과 객체 간의 관계를 구축한 뒤 질문이 주어지면 관련 정보를 검색해 답변을 생성하는 방식을 사용했다. 그러나 한 번의 요청에서 동시에 처리할 수 있는 정보량을 뜻하는 컨텍스트 윈도우가 큰 모델조차 초장시간 비디오에 포함된 정보를 효율적이고 정확하게 처리하는 데 한계가 있었다. 비디오 프레임을 일정한 간격으로 추출하는 방식 역시 입력 부담을 줄일 수 있지만, 맥락 이해에 필요한 세부 정보를 놓칠 위험이 있었다.
이러한 문제를 해결하기 위해 우리 대학교 컴퓨터과학과 김선주 교수가 이끄는 연구팀(최예은·유영범·강효림 박사과정 연구원)은 초장시간 비디오를 효율적으로 처리하는 프레임워크 ‘MERIT(Multi-key Episodic Retrieval with Inference-time Temporal Expansion)’을 제안했다.
이번 연구 논문 ‘Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding’는 유럽컴퓨터비전학회(ECCV 2026) 구두 발표(Oral Presentation) 논문으로 채택됐으며, 2026년 9월 열린 ECCV Wearable AI Workshop에서 발표돼 최우수 논문상을 수상했다.
연구팀은 기존의 초장시간 비디오 처리 방식이 사전에 복잡한 메모리 구조를 구축하는 데 많은 자원을 사용하며, 최종적으로 어떤 질문이 주어질지 알 수 없는 상황에서 질문과 무관한 정보까지 미리 요약해야 한다는 점에 주목했다.
또한 모든 작업에 AI의 최대 연산 능력을 투입하는 대신, 각 작업의 필요와 난이도에 맞춰 컴퓨팅 자원을 전략적으로 분배하는 ‘지능 배분(Intelligence Allocation)’에 주목했다. 이를 바탕으로 초장시간 비디오를 처리하려면 복잡한 메모리 구조를 구축하고 전처리에 자원을 집중해야 한다는 기존 가정에 의문을 제기했다. 연구팀은 불필요할 수 있는 요약과 관계 정보를 사전에 생성하기보다, 실제 질문이 주어졌을 때 필요한 정보를 정확히 검색하고 추론하는 방식으로 접근 방향을 전환했다.
MERIT은 두 가지 핵심 기술을 통해 정확한 정보 검색과 질문에 맞춘 추론(query-specific reasoning)이 복잡한 메모리 전처리를 대체할 수 있는지 검토했다.
첫째, ‘다중 키 인덱싱(Multi-key Indexing)’은 각 비디오 클립의 다양한 맥락을 하나의 인덱스로 요약하는 기존 방식의 한계를 보완한다. 연구팀은 계층적·그래프 기반 구조 대신 30초 길이의 각 클립에 사건 중심(event-centric), 객체 중심(object-centric), 대화 중심(dialogue-centric), 요약 수준(summary-level)의 네 가지 상호보완적인 키를 부여했다. 이를 통해 각 키의 유사도를 기준으로 질문과 관련된 정보를 검색하고, 정확한 답변을 생성하는 데 활용하도록 했다.
둘째, ‘이웃 필터링(Neighbor Filtering)’은 맥락 이해에 필요한 정보가 단일 30초 클립을 넘어 이어질 수 있다는 점을 고려한 기술이다. 질문과 관련된 특정 구간이 검색되면 해당 구간의 앞뒤 구간을 함께 고려해 하나의 클러스터를 구성한다. 이후 확장된 구간의 캡션을 필터링하고 질문과 관련된 맥락을 취합한다.
[그림1. MERIT의 전반적인 정보 검색 및 문제 해결 과정]
이처럼 MERIT은 긴 비디오를 여러 구간으로 나누고 각 구간에 대한 세밀한 캡션을 생성한 뒤, 다중 키 인덱싱을 통해 메모리를 가벼운 키 형태로 구성한다. 이후 질문이 주어지면 관련 장면과 주변 맥락을 검색하고, 최종적으로 MLLM이 추론을 통해 적절한 답변을 생성한다. 특히 시각 프레임은 반복적인 검색 과정이 아닌 최종 질의응답 단계에서만 활용해 높은 정확도를 유지하면서도 효율적이고 비교적 단순한 처리 과정을 구현했다.
연구팀은 MERIT의 성능과 정확도를 평가하기 위해 장시간 비디오 이해 성능을 측정하는 세 가지 벤치마크인 EgoLifeQA, LVBench, Video-MME(Long)를 활용했다. 답변 생성 모델로는 Qwen3-VL-8B, GPT-5, Gemini 2.5 Pro를 사용해 동일한 객관식 문항에 응답하도록 했다.
질의응답 정확도를 주요 평가 지표로 삼은 결과, MERIT은 세 벤치마크 모두에서 최고 수준의 성능을 달성했다. 특히 GPT-5를 주요 답변 생성 모델로 사용했을 때 EgoLifeQA, LVBench, Video-MME(Long)에서 각각 5.6%포인트, 9.9%포인트, 1.1%포인트의 정확도 향상을 보였다.
연구팀은 각 구성 요소가 전체 성능에 얼마나 기여하는지 확인하기 위해 특정 요소를 하나씩 제외하거나 변경하는 제거 연구(ablation study)도 진행했다. 그 결과, 다중 키 인덱싱은 질문과 관련된 정보를 검색할 가능성을 높여 정확도 향상에 기여하는 것으로 나타났다. 이웃 필터링 역시 검색된 클립의 범위를 넘어 추가적인 세부 정보를 제공함으로써 맥락 이해를 높였다.
연구팀은 관련성이 높은 단일 클립에만 의존하는 방식으로는 충분한 정보를 확보하기 어렵고, 경우에 따라 잘못된 답변으로 이어질 수 있다는 점도 확인했다.
MERIT은 효율성 측면에서도 기존 모델보다 우수한 성능을 보였다. 기존 모델인 WorldMM과 비교했을 때 메모리 구축에 필요한 대규모 언어모델(LLM) 호출 횟수와 입력·출력 토큰 수를 크게 줄여 적은 연산 자원으로 정보를 처리할 수 있었다.
[그림 2. 기존 모델 대비 MERIT의 효율성]
이를 통해 연구팀은 복잡한 메모리 구조를 구축하지 않고도 질문에 정확하게 답변할 수 있는 단순하고 계산 효율적인 초장시간 비디오 이해 프레임워크를 제시했다.
기존 시스템들이 MLLM의 초장시간 비디오 이해 능력을 높이기 위해 전처리에 연산 자원을 집중했던 것과 달리, MERIT은 정보의 분석·검색·응답 과정에 새로운 접근 방식을 제시했다.
연구팀은 정확한 초장시간 비디오 이해를 위해 반드시 정교한 메모리 구조가 필요하다는 기존 관점에서 벗어나, 메모리를 단순화하면서도 정확한 검색과 추론을 결합하면 우수한 성능을 달성할 수 있음을 보여줬다.
이번 연구는 검색 정확도와 효율적인 지능 배분의 중요성을 확인하고, 초장시간 비디오 처리 방식을 복잡한 메모리 시스템에서 경량 에피소드 메모리 중심으로 전환할 가능성을 제시했다는 점에서 의미가 있다.
연구팀은 향후 연구 방향으로 “길이에 제한이 없는 연속적인 비디오 스트림을 효과적으로 처리할 수 있도록 다중 키 검색 접근법을 확장하는 것”을 제시했다. 또한 MERIT이 “초장시간 비디오 이해에 관한 향후 연구를 위한 실용적이고 확장 가능한 토대”가 되기를 기대한다고 밝혔다.
기사 작성: 연세소식단 조민서(식품영양학·영어영문학 24) 학생