연세소식

[사진1. (왼쪽부터) 산학협력단 공학계열 박재진 연구원, 전기전자공학과 신예지 통합과정생, 유기준 교수, 황도식 교수, 한국외대 바이오메디컬공학부 강교원 교수]

 

전기전자공학과 유기준·황도식 교수와 한국외국어대학교 바이오메디컬공학부 강교원 교수가 참여한 국제 공동연구팀이 완전 무선 구조의 AI 기반 반지형 수화 번역 시스템을 세계 최초로 개발했다. 이번 연구는 손의 자연스러운 움직임을 유지한 상태에서 수화를 텍스트로 실시간 변환할 수 있는 차세대 웨어러블 인간-기계 인터페이스 기술로, 기존 수화 번역 시스템의 구조적 한계를 극복했다는 평가를 받고 있다.

 

수화는 청각·언어장애인의 핵심 의사소통 수단이지만, 비수어 사용자와의 소통에는 여전히 어려움이 존재한다. 기존 수화 번역 기술은 카메라 기반 비전 시스템이나 장갑형 웨어러블 장치를 중심으로 발전해 왔으나, 조명 환경과 가림 현상, 복잡한 배선 구조, 착용 불편성 등으로 실제 환경에서 활용에 한계가 있었다. 특히 장갑형 시스템은 손 크기와 형태 차이를 반영하기 어렵고, 센서 간 유선 연결 구조로 인해 손의 자유로운 움직임을 제한한다는 문제가 지적돼 왔다.

 

연구팀은 이러한 문제를 해결하기 위해 각 손가락에 독립적으로 착용할 수 있는 반지형(Conformal Ring-type) 웨어러블 디바이스를 개발했다. 해당 디바이스는 유연한 기판 위에 제작돼 손가락 표면에 밀착되도록 설계됐으며, 사용자의 손 크기나 형태와 관계없이 안정적으로 착용할 수 있다. 이를 통해 기존 장갑형 구조 대비 착용감과 적응성을 크게 향상했으며, 장시간 사용에도 부담을 줄였다.

[그림. 반지형 무선 수화 번역 시스템 개요]

 

각 반지에는 3축 가속도 센서와 전력 관리 회로, 블루투스 통신 모듈이 통합돼 손가락의 기울기와 움직임 변화를 실시간으로 정밀 측정할 수 있다. 특히 모든 센서는 블루투스 멀티 링크 기반의 완전 무선 구조로 동작해 센서 간 물리적 연결선 없이도 동시에 데이터를 전송할 수 있다. 이를 통해 기존 시스템의 기계적 제약을 제거하고, 실제 수화 동작을 보다 자연스럽게 수행할 수 있도록 했다.

 

연구팀은 웨어러블 링에서 측정된 손동작 데이터를 실시간으로 해석하기 위해 딥러닝 기반 다중 모드 정보 융합 알고리즘도 함께 개발했다. 이 알고리즘은 각 손가락에서 수집된 시계열 데이터를 분석해 노이즈를 제거하고 특징 정보를 추출한 뒤, 인공지능 모델을 통해 수어의 의미를 추론한다. 특히 사용자별 차이를 최소화하기 위해 데이터 정규화 및 일반화 학습을 적용해 특정 사용자에 종속되지 않는 사용자 독립형(User-independent) 인식 구조를 구현했다.

 

또한 연구팀은 시간에 따라 연속적으로 변화하는 손동작을 효과적으로 분석하기 위해 시계열 기반 학습 구조를 적용했으며, 단어 단위 인식을 넘어 문장 단위 번역까지 가능하도록 시스템을 설계했다. 특히 연속적인 수화 동작을 자동으로 분할하고 의미 있는 단어 시퀀스로 재구성하는 ‘Sequential Word Detection Framework’를 적용해 보다 자연스러운 문장 생성이 가능하도록 했다.

[사진2. 반지형 수화 번역 시스템 실제 착용 모습]

 

실험 결과, 연구팀은 미국 수화(ASL)와 국제 수화(ISL)를 포함한 총 200개 단어를 학습했으며, 학습에 참여하지 않은 사용자에 대해서도 약 88% 이상의 높은 인식 정확도를 기록했다. 이는 사용자별 별도 보정 없이도 안정적인 성능을 유지할 수 있음을 의미하며, 실제 환경에서의 활용 가능성을 입증한 결과다.

 

특히 기존 무선 수화 번역 시스템들이 제한된 단어 수와 특정 사용자 의존 구조를 가졌던 것과 달리, 이번 연구는 대규모 어휘, 사용자 독립성, 완전 무선 구조를 동시에 구현함으로써 기술적 완성도를 크게 높였다. 연구팀은 이번 성과가 단순한 실험 수준을 넘어 실제 활용 가능한 수화 번역 플랫폼으로 발전할 수 있는 가능성을 보여준다고 설명했다.

 

유기준 교수는 “이번 기술은 단순한 웨어러블 디바이스를 넘어 청각장애인과 비청각장애인 사이의 의사소통 장벽을 낮추는 새로운 소통 플랫폼이 될 수 있다”며 “향후 수화 번역뿐 아니라 인간-기계 인터페이스(HMI), 웨어러블 AI, 디지털 헬스케어, 극한 환경 의사소통 시스템 등 다양한 분야로 확장될 수 있을 것으로 기대한다”고 밝혔다.

 

황도식 교수는 “수화는 단순한 동작 인식을 넘어 시간에 따라 변화하는 패턴을 해석하는 것이 핵심”이라며 “웨어러블 디바이스로부터 획득한 시계열 손동작 데이터를 기반으로 딥러닝 기반 다중 모드 정보 융합 알고리즘을 적용해 사용자별 차이에 영향을 받지 않는 안정적인 인식 구조를 구현했다”고 설명했다.

 

이번 연구는 박재진 연구원(Georgia Institute of Technology 박사후연구원)과 신예지 연구원(전기전자공학과 통합과정생)이 공동 제1저자로 참여했으며, 연구 결과는 국제학술지 ‘Science Advances(Impact Factor 12.5)’에 게재됐다. 연구는 한국연구재단 중견연구사업, 바이오의료기술개발사업, 기초연구실지원사업, 삼성미래기술육성재단 삼성미래기술육성사업의 지원을 받아 수행됐다.