;)
;)
;)
GPU 활용률부터 TPS·TTFT·TPOT까지 실시간 공개… 글로벌 AI 업계 관계자들 호평
이미지 확대보기
모레의 분산 추론 기술 및 이기종 통합 기술이 AI 서비스 가격을 획기적으로 절감해 글로벌 확산을 돕는 차세대 추론 인프라 기술로 각광 받고 있다. 최근 AI 산업의 글로벌 확산에 걸림돌로 지적되고 있는 AI 모델 대형화에 따른 인프라 비용 및 서비스 가격 상승의 하나의 해법으로 거론되고 있다.
24일 업계에 따르면 지난 22~23일(현지시간) 미국 샌프란시스코에서 열린 AMD의 연례 최대 AI 행사 '어드밴싱 AI(Advancing AI) 2026'에 모레가 참가했다. AMD GPU 환경에서 자사의 분산 추론 솔루션 'MoAI 추론 프레임워크'를 선보일 수 있었다.
모레는 AMD MI300X GPU 32장(4노드)으로 구성된 시스템에서 'MoAI 추론 프레임워크'를 활용해 대규모 언어모델 GLM-5.1을 구동하는 라이브 데모를 진행했다. 챗봇을 직접 사용하며 응답 속도와 서비스 품질을 체험했으며, 다양한 활용 시나리오에 따른 성능 테스트도 함께 확인할 수 있었다.
이번 데모는 단순히 모델을 구동하는 데 그치지 않고, GPU 활용률과 TPS(Tokens Per Second), TTFT(Time To First Token), TPOT(Time Per Output Token) 등 AI 추론 서비스의 핵심 성능 지표를 실시간으로 공개해 많은 관심을 받았다.
빠른 응답 속도와 안정적인 처리 성능, 특히 AMD GPU에서 구동 난도가 높은 GLM-5.1 모델을 실시간 서비스 수준으로 구현한 점에 대해 긍정적인 평가가 이어졌다.
조강원 모레 대표는 "AMD GPU 환경에서도 최고 수준의 추론 성능을 구현할 수 있음을 글로벌 고객들에게 직접 검증받을 수 있었다"며 "앞으로도 GPU 종류에 관계없이 기업들이 AI 서비스를 가장 효율적으로 운영할 수 있도록 AI 인프라 소프트웨어 기술을 지속적으로 고도화해 나가겠다"고 말했다.
최정호 글로벌이코노믹 기자 junghochoi5591@g-enews.com
