KAIST, '영감' 읽고 작곡하는 AI '어뮤즈' 개발

음악 창작자가 떠올린 문장이나 사진, 혹은 소리를 입력하면, 인공지능이 어울리는 코드 진행을 제안해주는 시대가 왔다. KAIST가 인간-컴퓨터 협업의 새 지평을 여는 작곡 지원 시스템 '어뮤즈(Amuse)'를 공개했다.

KAIST 전기및전자공학부 이성주 교수 연구팀은 미국 카네기멜론대와 협력해 창작자 중심의 상호작용형 AI 작곡 시스템 '어뮤즈'를 개발했다고 7일 밝혔다.

이 기술은 일본 요코하마에서 열린 세계컴퓨터연합회(ACM) 주관 인간-컴퓨터 상호작용 최고 권위 학술대회 CHI 2025에서 전체 논문 중 상위 1%에만 수여되는 '최우수 논문상(Best Paper Award)'을 받았다.

어뮤즈의 가장 큰 특징은 '다중 모달 입력' 기반 설계다. 창작자는 문장, 이미지, 음향 등 다양한 형식으로 아이디어를 입력할 수 있으며, AI는 이를 바탕으로 음악 코드 진행을 자동 생성해 제안한다.
예컨대 "따뜻한 여름 해변의 기억"이라는 문장이나 연상 이미지, 관련 사운드를 넣으면, 해당 분위기에 어울리는 코드 흐름을 실시간으로 구성해주는 식이다.


기존의 생성형 AI가 단방향적인 결과물 제시에 그쳤다면, 어뮤즈는 창작자의 아이디어 흐름을 보조하며 유연하게 수정과 반영이 가능한 '협업형 시스템(Co-Creative AI)'이다. AI가 독자적으로 전개하는 것이 아니라 창작자와 대화하듯 곡을 함께 만들어가는 구조다.

어뮤즈는 두 단계의 하이브리드 생성 방식으로 작동한다. 우선 대형 언어 모델을 활용해 입력된 문장이나 이미지 등에서 어울리는 음악적 코드 구성을 프롬프트 방식으로 유도한 뒤, 실제 음악 데이터로 훈련된 AI 모델이 어색한 결과물을 걸러내는 리젝션 샘플링 기법을 적용한다. 이 과정을 통해 창작자에겐 더욱 자연스럽고 조화로운 제안이 제공된다.

연구팀은 실제 뮤지션들을 대상으로 한 사용자 테스트를 수행했으며, 이 시스템이 "단순한 생성 도구가 아닌, 창작을 함께 수행하는 파트너"로서의 가능성을 보여준다고 평가했다. 논문은 KAIST 박사과정 김예원 연구원과 이성주 교수, 카네기멜론대 크리스 도너휴 교수가 공동 저자로 참여했으며, 인간-AI 협업 설계 모델의 새 가능성을 제시했다.

이성주 교수는 "최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 뒀다"고 말했다.

이어 "어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다."라고 설명했다.

해당 연구는 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행됐다.


김지유 글로벌이코노믹 기자 tainmain@g-enews.com