美 'SC26'서 첫선… 추론 처리량 최대 1.66배↑·보조 모델 학습 시간 3.02배 단축
엔비디아 H100·AMD MI250 조합 실증… '토큰 팩토리 OS'로 차세대 AI 인프라 공략
엔비디아 H100·AMD MI250 조합 실증… '토큰 팩토리 OS'로 차세대 AI 인프라 공략
이미지 확대보기모레는 15일부터 20일(현지시간)까지 미국 시카고에서 열린 세계 최대 고성능 컴퓨팅(HPC) 컨퍼런스 '슈퍼컴퓨팅 2026(SC26)'에서 대규모 언어모델(LLM)의 추론 성능과 자원 효율을 끌어올리는 자기 개선형 추론 프레임워크 'TIDE(Temporal Incremental Draft Engine)'를 최초 공개했다.
최근 복잡한 사고 과정을 거치는 추론형 AI가 확산되면서 서비스 경쟁력의 핵심은 연산 비용 절감과 속도 확보에 쏠리고 있다. LLM은 답변을 생성할 때 토큰을 하나씩 순차적으로 만들어내는 구조 탓에 문장이 길고 복잡해질수록 막대한 GPU 자원과 시간이 소모된다.
이를 해결하기 위해 업계에서는 작은 보조 모델(Draft Model)이 먼저 여러 토큰을 예측하고 대형 모델(Target Model)이 이를 한 번에 검증하는 '추측 디코딩(Speculative Decoding)' 기법을 도입해 왔다. 하지만 실제 서비스 환경에서는 사용자의 질문 유형과 패턴이 수시로 바뀌기 때문에, 고정된 보조 모델은 예측 정확도가 떨어져 오히려 전체 속도를 저하시키는 한계가 있었다.
여기에 실시간 모니터링 기능도 결합했다. 추측 디코딩의 효율과 보조 모델의 예측 정확도를 상시 추적해, 실익이 적은 구간에서는 불필요한 연산을 멈추고 작업 부하 변화로 정확도가 떨어질 때만 선택적으로 재학습을 수행하도록 설계했다.
조강원 모레 대표는 "AI 인프라 경쟁력은 단순히 고성능 GPU를 얼마나 많이 확보하느냐를 넘어, 주어진 자원을 얼마나 효율적으로 활용해 더 많은 연산을 처리하느냐에 달려 있다"며 "다양한 GPU 환경에서 AI 추론 성능과 자원 활용 효율을 극대화하는 소프트웨어 기술 개발을 이어가겠다"고 말했다.
최정호 글로벌이코노믹 기자 junghochoi5591@g-enews.com

































