울산 UNIST, 2시간 경기서 하이라이트 찾는 AI ‘실전 시험대’ 개발

축구 한 경기를 처음부터 끝까지 보면 2시간 가까이 걸린다.

골과 결정적 장면만 골라내려면 경기 전체를 훑어야 한다.

스포츠 하이라이트를 찾는 인공지능(AI)도 마찬가지다.
문제는 지금까지 AI가 치른 ‘시험’이 실제 경기보다 지나치게 짧았다는 점이다.

기존 하이라이트 탐지 벤치마크의 평균 영상은 2~4분 수준이다. UNIST 연구진이 이를 실제 스포츠 중계와 비슷한 평균 2시간으로 늘렸다.

UNIST 인공지능대학원 김태환 교수팀은 장시간 스포츠 영상에서 하이라이트를 찾는 AI의 성능을 평가하는 대규모 벤치마크 ‘SVHighlights’를 구축했다고 14일 밝혔다.




SVHighlights에는 미식축구와 야구, 농구, 아이스하키, 모터스포츠, 럭비, 축구, 배구 등 8개 종목이 담겼다.

종목별 40편씩 모두 320편이다. 전체 재생시간은 640.18시간이며 영상 한 편의 평균 길이는 2시간이다.
기존 대표 하이라이트 탐지 벤치마크의 평균 영상 길이가 약 2~4분인 점을 감안하면 30~60배 길다.

짧은 영상에서 높은 성능을 낸 AI가 1~2시간짜리 실제 중계에서도 같은 능력을 보이는지 시험할 수 있는 환경을 만든 셈이다.

장시간 영상을 학습·평가하기 어려웠던 가장 큰 이유는 ‘정답’을 만드는 데 드는 시간이었다.

어느 장면이 중요한지 사람이 영상 전체를 보면서 일일이 표시해야 했다.
영상이 길어질수록 시간과 비용이 급격히 늘어나는 구조다.

연구팀은 방송사가 이미 제작한 공식 하이라이트 영상을 정답지로 활용했다.

공식 하이라이트의 장면을 1초 단위로 나누고 전체 경기 영상과 대조해 같은 장면이 등장하는 시점을 자동으로 찾았다.
화면의 유사성과 장면의 시간 순서를 함께 계산했다.

스포츠 중계에서 같은 장면이 반복되는 리플레이를 실제 경기 장면으로 잘못 인식하는 오류도 줄였다.




연구팀은 장시간 경기에서 하이라이트를 직접 골라내는 기준 모델 ‘TF-SELECTOR’도 개발했다.

경기 영상을 의미가 이어지는 구간으로 나눈 뒤 각 구간의 화면 설명과 중계 음성, 소리 크기 등을 함께 분석한다.
이후 AI가 각 구간의 중요도를 매겨 하이라이트 후보를 고르는 방식이다.

연구팀이 SVHighlights를 이용해 기존 모델들과 비교한 결과 TF-SELECTOR는 가장 중요한 장면을 제대로 골랐는지, 실제 하이라이트를 얼마나 찾아냈는지, 예측한 구간이 정답과 얼마나 겹쳤는지를 따지는 주요 평가 지표에서 차순위 모델을 앞섰다.

이번 연구에는 이동규·기영빈 연구원과 강정훈 연구원, 김태환 교수가 참여했다.

논문 ‘SVHighlights: Towards Extremely Long Sport Video Highlight Detection’은 지난 8월 제주에서 열린 제32회 ACM SIGKDD 국제학술대회(KDD 2026)의 데이터셋·벤치마크 분야에 채택됐다.


박근호 글로벌이코노믹 기자 hotkay89@gmail.com