모티프, 독파모 평가 결과에 이의제기…"상세 기준 공개해야"

모티프테크놀로지스(이하 모티프)가 정부의 독자 인공지능(AI) 파운데이션 모델(독파모) 사업 2차 평가 결과에 공식 이의를 제기했다. 글로벌 AI 모델 평가 지표에서 참여 모델 중 가장 높은 점수를 기록했음에도 종합평가에서는 최하위로 탈락한 만큼 전문가·사용자 평가를 포함한 세부 평가 기준과 결과를 공개해야 한다는 입장이다. 다만 모티프는 이번 이의 제기 결과와 관계없이 독파모 3차 평가에는 참여하지 않을 것이라고 선을 그었다.

27일 모티프는 독파모 사업 2차 단계 선정 결과와 관련해 과학기술정보통신부에 이의를 제기하고 세부 평가점수 공개와 재심의를 요청했다고 밝혔다. 모티프는 독파모 사업의 주요 목적이 독자 기술을 기반으로 글로벌 경쟁력을 갖춘 프론티어급 파운데이션 모델을 확보하는 데 있으며 정부 역시 글로벌 프론티어 모델 대비 95% 수준의 성능을 목표로 제시했다고 설명했다.

모티프는 지난 2월 그래픽 처리 장치(GPU) 768장을 지원받은 뒤 약 5개월간 '모티프3'를 개발했다. 모티프3는 글로벌 AI 모델 평가기관 아티피셜 애널리시스의 종합지능지수(AAII)에서 47점을 기록했다. 이는 모델 업체 기준 글로벌 10위이자 미국과 중국을 제외하면 가장 높은 수준이다. 독파모에 제출된 다른 모델들은 30점대를 기록했다.

하지만 지난 18일 발표된 독파모 2차 평가에서 모티프는 참여 기업 가운데 가장 낮은 종합점수를 받아 탈락했다. 모티프는 결과 자체는 받아들였지만 이후 과기정통부가 언론을 통해 모티프3가 벤치마크에서는 높은 점수를 받았으나 전문가 평가와 사용자 평가에서 낮은 평가를 받았다는 취지로 설명한 것을 문제 삼았다. 일부 언론에서는 과학기술정보통신부 고위 관계자가 모티프3의 실제 추론 성능과 사용성·활용성이 벤치마크 점수에 비해 떨어진다는 취지로 평가했다고 보도했다.
이에 모티프는 파운데이션 모델의 가치를 단순한 챗봇 사용성보다 다양한 분야로 확장할 수 있는 기반 성능에서 찾아야 한다고 주장했다. 모델 자체의 성능이 높아야 이를 기반으로 사용성과 다양한 서비스를 빠르게 확장할 수 있다는 것이다. 다만 좋은 파운데이션 모델을 판단하는 기준에 하나의 정답만 있는 것은 아니라며 전문가들과 평가 관점이 다를 수 있다는 점은 인정했다.

특히 모티프는 AAII 평가와 전문가 평가 결과가 크게 엇갈린 이유가 구체적으로 설명돼야 한다고 강조했다. AAII는 글로벌 AI 업계에서 활용되는 9개 벤치마크를 종합한 지표로 특정 영역뿐 아니라 사용성과 관련된 평가도 포함하고 있다. AAII에서 참여 모델 간 점수 격차가 나타났음에도 전문가 평가에서 다른 결과가 나온 배경을 이해할 수 있도록 공개해야 한다고 요구했다.

벤치마크 점수를 실제 독파모 평가점수로 환산하는 방식에도 문제를 제기했다. 독파모 2차 평가는 총 100점 가운데 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 벤치마크 가운데 AAII는 25점을 차지한다.모티프에 따르면 AAII 글로벌 최고점인 63점을 25점 만점으로 환산하면 15.75점이며 독파모 참여 모델 가운데 47점을 기록한 1위와 31점을 기록한 4위의 원점수 격차 16점도 실제 평가에서는 4점 차이로 줄어든다.

모티프는 이 같은 산정 방식이 모델 간 실제 성능 차이를 충분히 반영하지 못할 가능성이 있다며 벤치마크 비중을 낮추기보다 점수 산정 과정에서 성능 격차가 적절히 반영돼야 한다고 주장했다.전문가 평가에 대해서도 상세 기준과 항목별 평가 내용 공개를 요구했다. 모티프는 전문가 평가가 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점으로 구성된 것으로 파악하고 있다.

또 모티프는 AAII 점수가 가장 낮은 모델이 전문가 평가에서 가장 높은 평가를 받은 구체적인 판단 근거를 이해하기 어렵다고 주장했다.평가 과정에서 받은 일부 질문의 목적에도 의문을 제기했다. 뿐만 아니라 전문가 평가 과정에서 "컨소시엄의 주관, 참여기업 중 외국계 자본이나 해외 법인이 의결권 있는 주요주주로 참여하고 있는 기업이 있느냐"는 내용의 서면 질문을 받았는데 해당 질문이 어떤 평가 목적과 기준에 따라 활용됐는지 설명이 필요하다고 강조했다.
사용자 평가 방식도 공개해달라고 요구했다. 모티프는 평가 전 개발사를 알리지 않는 블라인드 평가를 요청했다. 대기업과 상대적으로 인지도가 낮은 스타트업의 모델을 일반 사용자가 평가할 경우 개발사를 사전에 인지하면 브랜드 인지도나 선입견이 평가에 영향을 줄 수 있다는 이유다.

모티프는 AAII 벤치마크에서 나타난 모델 간 성능 차이가 사용자 평가를 거치며 크게 달라졌다면 어떤 방식과 조건으로 평가가 진행됐는지 확인할 수 있어야 한다며 사용자 평가의 방법론과 세부 기준, 결과 공개를 요청했다.

아울러 모티프는 이번 이의 제기가 자신들을 다시 독파모 사업에 선정해 달라는 요구는 아니라고 선을 그었다. 독파모 사업이 어떤 모델을 목표로 하는지에 대한 합의를 만들고 향후 평가 방향을 개선하기 위한 문제 제기라는 설명이다. 이에 따라 이의 제기 결과와 관계없이 독파모 3차 평가에는 참여하지 않기로 했다.

모티프는 입장을 통해 "독파모 사업에서 합리적인 방향 설정은 국가적으로도 매우 중요하다"며 "이번 심사 과정과 결과가 충분히 공개되고 검증될 수 있어야 하며 이를 바탕으로 3차에서는 참여 기업들이 보다 명확한 방향 아래 역량을 집중할 수 있기를 바란다"고 말했다.
이재현 글로벌이코노믹 기자 kiscezyr@g-enews.com