연세소식

[사진. (왼쪽부터) Zidong Li(이자동) 박사과정생, 방영석 교수]

경영대학 방영석 교수 연구팀이 생성형 AI 기반 요약 기능이 온라인 플랫폼의 이용자 생성 콘텐츠(User-Generated Content, UGC)에 미치는 영향을 실증적으로 규명했다. 연구 결과, 트립어드바이저(TripAdvisor)에 AI 생성 리뷰 요약 기능이 도입된 이후 호텔 이용자 리뷰 수가 비교 기준 대비 약 27.7% 감소한 것으로 나타났다.

이번 연구는 경영대학 Zidong Li(이자동) 박사과정과 방영석 교수 연구팀이 수행했으며, 연구 결과는 국제 학술지 'Decision Support Systems'에 게재됐다.

생성형 AI 기술이 빠르게 확산되면서 온라인 플랫폼은 이용자들이 남긴 방대한 정보를 요약하고 정리하는 AI 기능을 적극적으로 도입하고 있다. 호텔·여행 플랫폼에서 제공되는 AI 리뷰 요약은 이용자가 수백 개의 리뷰를 일일이 읽지 않아도 핵심 정보를 빠르게 파악할 수 있도록 돕는다.

그러나 AI가 이용자 리뷰를 대신 요약해 보여줄 경우, 사람들이 새로운 리뷰를 작성하려는 동기 자체가 약해질 수 있다는 우려도 제기돼 왔다. 연구팀은 이러한 문제의식에서 출발해 AI 생성 콘텐츠(AI-Generated Content, AIGC)가 인간이 작성하는 리뷰의 양과 내용, 평점에 어떤 변화를 가져오는지 분석했다.

연구팀은 트립어드바이저가 2023년 10월 23일 호텔 리뷰 페이지 상단에 AI 기반 리뷰 요약 기능을 도입한 사례에 주목했다. 이 기능은 충분한 리뷰 수를 보유한 호텔을 대상으로 자동 적용됐으며, 기존 이용자 리뷰를 바탕으로 호텔의 주요 특징을 간결하게 요약해 제공했다.

분석에는 2022년 5월부터 2024년 5월까지 24개월간 수집한 싱가포르 호텔 리뷰 데이터가 활용됐다. 연구팀은 트립어드바이저 내 싱가포르 호텔 340개 가운데 AI 요약 기능이 적용된 호텔을 확인하고, 연속적인 리뷰 이력이 부족한 사례를 제외해 최종적으로 100개 호텔의 리뷰 32만 4,634건을 확보했다. 이후 AI 요약 기능이 영어 인터페이스에서 제공된 점을 고려해 비영어 리뷰를 제외하고, 총 28만 6,466건의 영문 리뷰를 분석했다.

연구팀은 호텔별·월별 리뷰 데이터를 구성한 뒤, AI 요약 기능 도입 전후 6개월을 비교했다. 또한 같은 호텔의 전년도 같은 기간을 대조군으로 삼는 이중차분(Difference-in-Differences, DID) 분석을 적용해 AI 요약 도입 효과를 추정했다. 리뷰 내용 변화는 구조적 토픽 모델링(Structural Topic Modeling, STM)을 활용해 분석했다.

분석 결과, AI 리뷰 요약 기능이 도입된 이후 이용자 리뷰 수는 비교 기준 대비 약 27.7% 감소했다. 연구팀은 이를 ‘정보 중복성’ 효과로 설명했다. AI 요약이 이미 호텔의 핵심 장점과 단점을 정리해 제공하면, 이용자는 자신이 쓰려던 리뷰가 기존 요약과 크게 다르지 않다고 느끼고 리뷰 작성을 생략할 가능성이 커진다는 것이다.

특히 감소 효과는 긍정 리뷰에서 두드러졌다. 4점과 5점의 고평점 리뷰는 AI 요약 도입 이후 크게 줄어든 반면, 1점과 2점의 저평점 리뷰에서는 유의미한 변화가 확인되지 않았다. 연구팀은 만족한 이용자의 경우 AI 요약이 이미 호텔의 장점을 충분히 전달한다고 느껴 리뷰 작성 필요성을 덜 느끼지만, 불만족한 이용자는 개인적 경험과 불만의 구체적 맥락을 직접 표현하려는 동기가 남아 있기 때문이라고 해석했다.

호텔 등급에 따른 차이도 확인됐다. 낮은 등급의 호텔에서는 AI 요약 도입 이후 리뷰 감소 효과가 더 크게 나타났다. 연구팀은 저등급 호텔 리뷰가 주로 청결, 객실 상태, 편의시설, 위치, 가격 대비 만족도 등 비교적 일반적이고 정보 중심적인 내용으로 구성되는 경우가 많아 AI 요약으로 대체되기 쉽다고 설명했다. 반면 고급 호텔의 경우 예기치 못한 객실 업그레이드, 특별한 서비스 경험, 기념일 방문 등 개인적이고 감정적인 경험이 리뷰에 담기는 경우가 많아 AI 요약만으로 완전히 대체되기 어렵다는 것이다.

흥미로운 점은 리뷰 수가 줄어든 반면, 남은 리뷰는 오히려 더 길고 구체적으로 변화했다는 사실이다. AI 요약 도입 이후 이용자들이 작성한 리뷰의 단어 수와 문장 수는 유의미하게 증가했다. 이는 단순하고 반복적인 정보성 리뷰는 줄어드는 대신, 리뷰를 계속 작성하는 이용자들이 AI 요약에 담기 어려운 개인적 경험과 세부 맥락을 더 자세히 기록하게 됐음을 보여준다.

평균 평점은 소폭 하락했다. 연구팀은 이를 실제 고객 만족도의 하락으로 해석하기보다, 긍정 리뷰가 상대적으로 더 많이 줄어들면서 온라인에 드러나는 평점 분포가 변화한 결과로 봤다. 즉, 만족한 고객이 리뷰를 덜 남기게 되면서 남아 있는 리뷰에서 중립적이거나 부정적인 평가의 비중이 상대적으로 커졌다는 것이다.

리뷰 내용 분석에서도 변화가 나타났다. AI 요약 도입 이후 ‘프리미엄 라운지 경험’, ‘친절하고 따뜻한 서비스’, ‘역사적·문화적 건축 경험’처럼 개인적이고 구체적인 경험을 담은 주제의 비중이 증가했다. 반면 ‘욕실 청결과 시설’, ‘침대 편안함’, ‘가족 여행 편의성’처럼 AI 요약에 쉽게 포함될 수 있는 일반적 정보 중심 주제는 감소하거나 큰 변화가 없었다.

이번 연구는 생성형 AI가 단순히 콘텐츠를 생산하거나 요약하는 기술을 넘어, 사람들이 온라인에서 정보를 공유하고 평가를 남기는 방식 자체를 변화시킬 수 있음을 보여준다. AI 요약은 이용자의 정보 탐색 부담을 줄이고 플랫폼 접근성을 높이는 장점이 있지만, 동시에 인간 이용자의 참여를 줄이고 리뷰 생태계의 다양성을 약화시킬 가능성도 있다.

연구팀은 플랫폼 운영자가 AI 요약 기능을 도입할 때 정보 효율성과 이용자 참여 사이의 균형을 고려해야 한다고 강조했다. 특히 리뷰에 크게 의존하는 호텔, 음식점, 전자상거래 플랫폼 등에서는 AI가 인간 리뷰를 대체하기보다 이용자가 더 고유한 경험을 공유하도록 유도하는 설계가 필요하다는 설명이다.

이번 연구는 생성형 AI 시대에 AI 생성 콘텐츠와 이용자 생성 콘텐츠가 어떻게 상호작용하는지를 실제 플랫폼 데이터를 통해 분석한 사례로, 온라인 리뷰 플랫폼과 디지털 서비스 생태계의 설계 방향에 중요한 시사점을 제공하고있다.

기사 작성: JSC 남경수(산업공학 23)·조아현(경영 20)·정수빈(불어불문 21) 학생