xAI GPU 활용률 11% 그쳐…AI 인프라 비효율 논란

일론 머스크 테슬라 최고경영자(CEO)가 겸영하고 있는 인공지능(AI) 스타트업 xAI가 대규모 그래픽처리장치(GPU)를 확보하고도 실제 활용률은 10% 수준에 그치고 있다는 분석이 나왔다.

기술 전문매체 Wccftech는 IT매체 더 인포메이션의 보도를 인용해 xAI가 보유한 약 55만개의 엔비디아 GPU 중 실제로 활용되는 비율이 약 11%에 불과한 것으로 파악됐다고 4일(현지시각) 보도했다.
바꿔 말하면 약 6만개 정도만 실질적으로 작동하고 있는 셈이다.

◇“대규모일수록 효율 급락”

xAI는 H100, H200 등 고성능 GPU를 기반으로 멤피스와 콜로서스(Colossus) 클러스터를 운영하고 있다.

그러나 수십만 개 단위로 확장된 환경에서는 유휴 시간이 급격히 늘어나며 전체 활용률이 낮아지는 문제가 발생하고 있는 것으로 분석된다.

이 같은 병목 현상은 데이터 처리와 분산 학습 과정에서 소프트웨어 스택이 충분히 최적화되지 않았기 때문으로 지목된다.
◇메타·구글은 40%대 활용

반면 메타플랫폼스와 구글은 GPU 활용률을 각각 약 43%, 46% 수준까지 끌어올린 것으로 나타났다.

업계에서는 일반적으로 35~45% 수준이 평균적인 활용률로 평가되며 40% 이상이면 높은 효율로 간주된다.

◇AI 산업 전반 문제로 확산

전문가들은 이 문제가 특정 기업이 아니라 AI 산업 전반에 걸친 구조적 한계라고 지적한다.

서버 규모가 수천 대 수준일 때는 큰 문제가 없지만 수십만 개 GPU를 동시에 운영할 경우 소프트웨어 병목과 데이터 처리 지연이 누적되면서 효율이 급격히 떨어진다는 설명이다.

◇xAI “50%까지 개선 목표”

xAI는 향후 인프라 개선과 소프트웨어 최적화를 통해 GPU 활용률을 50% 수준까지 끌어올리는 것을 목표로 하고 있다. 다만 구체적인 달성 시점은 제시되지 않았다.

또 대규모 GPU 자원을 외부에 임대하는 방식도 검토 중인 것으로 전해졌다.

업계에서는 향후 AI 경쟁력이 단순한 하드웨어 확보가 아니라 소프트웨어 최적화와 운영 효율성에 달려 있다는 점이 이번 사례로 드러났다고 평가하고 있다.


김현철 글로벌이코노믹 기자 rock@g-enews.com