모티프테크놀로지스, GPU 효율 혁신으로 7주만에 독자 구축 LLM ‘Motif 12.7B’ 완성 …프롬 스크래치 역량 입증

경량 모델로 글로벌 AI 시장에서 주목받았던 AI 스타트업 모티프테크놀로지스(Motif Technologies)가 자체 개발한 대규모 언어 모델(LLM)인 ‘Motif 12.7B’를 허깅페이스에 오픈소스로 공개하며 독보적인 프롬 스크래치 역량을 입증했다.

127억 개의 매개변수(파라미터)를 기반으로 하는 이 모델은 모티프테크놀로지스가 ‘프롬 스크래치(From scratch)’방식으로 모델 구축부터 데이터 학습까지 전 과정을 직접 수행한 순수 국산 기술의 집약체다. 지난 7월 T2I(Text to Image) 모델인 'Motif-Image-6B'를 공개한 모티프테크놀로지스는 현재 국내 유일하게 LLM(대형 언어 모델)과 LMM(대형 멀티모달 모델)을 모두 독자 개발하고 있는 선도적 기업이다.

특히, 국내 AI 산업 전반에서 대규모 GPU 클러스터의 효율적 운용과 고성능 LLM 개발 인력 확보가 핵심 난제로 부각되는 상황 속에서, 모티프테크놀로지스는 최고 수준의 GPU 활용 역량과 LLM 개발 노하우를 바탕으로 단 7주만에 Motif 12.7B를 성공적으로 선보였다.

이는 방대한 인프라 투입만으로는 해결하기 어려운 개발 과정에서, 자체 기술력으로 최단 기간 내에 성과를 창출해낸 실질적인 개발 역량을 보여준다. Motif 12.7B는 앞서 공개했던 경량 모델(Motif 2.6B)에서 한 단계 도약한 고성능 LLM으로 추론 능력과 학습 효율 모두를 혁신적으로 끌어올렸다.
모티프테크놀로지스는 독자적으로 개발·고안한 ‘그룹 단위 차등 어텐션(Grouped Differential Attention)’과 ‘뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘’이라는 두 가지 LLM 개발 기술을 통해, 모델 성능과 학습 효율의 혁신적 향상을 이뤘다.

실제 벤치마크 결과 Motif 12.7B는 'AIME25', 'GPQA-Diamond', '지브라로직(ZebraLogic)' 등 추론 능력을 평가하는 수학과 과학, 논리 과제에서 720억 매개변수를 가진 알리바바 큐원 2.5(72B)을 능가했다. 구글 젬마3 동급 모델과의 비교에서도 주요 추론 능력 관련 평가 지표에서 더 나은 점수를 얻었다.

모티프테크놀로지스가 도입한 ‘그룹 단위 차등 어텐션’ 메커니즘은 헤드 할당을 전략적으로 비대칭화해 기존 '차등 어텐션(DA)' 메커니즘의 구조적 한계를 넘어선 기술이다. '차등 어텐션(DA)' 메커니즘은 어텐션 노이즈를 제거해 모델의 안정성과 추론 능력을 높였으나, 핵심 정보인 신호(signal)와 불필요한 정보인 잡음(noise) 처리를 위한 연산 헤드를 대칭적으로 할당해야 하는 구조적 한계로 인해 연산 효율이 떨어지는 문제가 있었다. 모티프테크놀로지스는 헤드 할당을 전략적으로 비대칭화해 동일 연산량 대비 최대치의 성능과 표현력을 달성하며, 고난도 추론 성능을 크게 향상시키는 동시에 환각(hallucination) 현상을 획기적으로 완화했다.

또 '뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘'으로 LLM 학습 효율 저하의 주요 원인으로 꼽혀왔던 멀티노드 분산 환경에서의 노드간 통신 및 동기화 병목 문제도 해결했다. GPU의 연산(compute)과 통신(communication) 작업을 지능적으로 중첩 스케줄링할 수 있는 독자적 병렬화 알고리즘을 통해 통신 대기 시간을 사실상 제거하고 GPU 활용률을 극대화해 학습 효율을 획기적으로 개선했다.

강화학습(RL) 과정 없이 고도화된 추론 능력을 확보한 혁신적 언어모델(LLM)이라는 점도 강점이다. 모티프테크놀로지스는 LLM 개발 단계에서 가장 비용이 많이 소요되는 강화학습 단계 없이 ‘추론 중심 지도학습(Reasoning-Focused SFT)’ 방식을 통해 모델이 스스로 논리적 사고와 문제 해결을 수행할 수 있도록 설계했다. 또한, 사용자의 질문 특성에 따라 ‘Think’(심층 추론)과 ‘No Think’(즉시 응답) 방식을 모델이 스스로 판단하도록 구현해, 상황에 맞는 최적의 연산을 수행하도록 했다.

모티프테크놀로지스는 이러한 기술적 혁신을 통해 개발과 운영 전 과정에서 비용 효율성을 극대화했다. 개발 단계에서는 강화학습 과정이 생략돼 고비용 학습 부담을 크게 줄였으며, 운영 단계에서는 모델이 불필요한 추론 연산을 자동으로 회피함으로써 GPU 사용량 절감, 모델 관리의 단순화, 응답 지연시간 최소화 등 실질적인 효율 개선을 달성했다.

임정환 모티프테크놀로지스 대표는 “GDA와 뮤온 옵티마이저 병렬화 알고리즘은 각각 LLM의 ‘두뇌’와 ‘에너지 효율’을 혁신적으로 재설계한 기술”이라며 “이 기술로 완성한 Motif 12.7B는 단순한 성능 향상을 넘어 AI 모델의 구조적 진화를 보여주는 사례가 됨과 동시에 보다 비용 효율적인 고성능 LLM을 원하는 기업들에게 모범 답안이 될 것”이라고 말했다.

고성능의 LLM(대형언어모델)과 LMM(대형멀티모달모델) 모두를 파운데이션 모델로 개발한 경험을 갖춘 국내 유일의 스타트업인 모티프테크놀로지스는 현재 다양한 스케일의 AI 모델 개발을 본격화하고 있다. 향후 100B 규모의 LLM과 함께 7월에 공개한 T2I(Text to Image)에 이어 연말까지 T2V(Text to Video) 모델을 오픈소스로 공개할 예정이다.


최정호 글로벌이코노믹 기자 junghochoi5591@g-enews.com