"추론 기술 시대 온다" 인텔 CEO, 엔비디아의 CUDA 종말 주장

팻 겔싱어 인텔 CEO가 엔비디아의 CUDA보다 추론 기술을 사용하는 시대가 곧 도래할 것으로 전망했다고 미국 매체 테크스팟이 보도했다.

인텔은 지난 14일(이하 현지시간) ‘인공지능(AI) 에브리웨어’ 행사를 열고 자사의 차세대 AI 칩 포트폴리오를 공개했다. 이 자리에서 겔싱어는 “업계 전체가 CUDA 시장을 제거하려는 동기를 갖고 있다”라며 “구글, 오픈AI 등이 AI 교육을 더욱 개방적으로 만들기 위해 파이썬 기반 프로그래밍 계층으로 이동하고 있다”고 말했다.

그는 또 "궁극적으로 AI 훈련보다 추론 기술이 더 중요할 것"이라고 주장하면서 업계는 폐쇄적인 CUDA보다 교육, 혁신, 데이터 과학을 위한 더 광범위하고 개방된 기술을 원한다고 덧붙였다.

엔비디아가 개발한 CUDA(Compute Unified Device Architecture)는 그래픽 처리 장치(GPU)로 수행할 수 있는 병렬처리 알고리즘을 기존 산업 표준 프로그래밍 언어를 사용해 작성할 수 있도록 돕는 GPGPU 기술 기반 소프트웨어 도구(API)다. 개발자는 CUDA를 이용해 GPU의 병렬처리 성능을 쉽고 간편하게 활용할 수 있으며, 이를 통해 대규모 데이터처리, 이미지 처리, AI 개발 및 학습 등의 성능과 효율을 크게 향상할 수 있다.
특히 올해들어 생성형 AI 시장이 급성장하고, 엔비디아의 GPU 기반 고성능 AI칩 수요가 급증하면서 CUDA는 AI 시장의 표준 기술 중 하나로 자리잡은 상황이다.


생성형 AI 시장은 크게 '훈련 시장'과 '추론 시장'으로 나눌 수 있다.

훈련 시장은 주로 엔비디아의 CUDA 기술을 바탕으로 생성형 AI 모델을 학습시키기 위한 컴퓨팅 자원을 제공하는 시장이다. 주로 데이터 센터를 중심으로 형성되어 있으며, 딥러닝 분야에서 큰 역할을 하고 있다.

추론 시장은 완성된 생성형 AI 모델을 실행해 결과를 생성하는 과정에 필요한 컴퓨팅 자원을 제공하는 시장이다. 데이터 센터는 물론, 엣지 디바이스까지 포함하고 있으며, 엔비디아는 물론, 인텔, 퀄컴, 구글 등 다양한 기업들이 경쟁하고 있다.

추론 시장의 전망은 매우 밝다. 지식기반 추론 기술은 방대한 데이터 내 정보 추출을 통해 지식을 표현하고, 논리적 추론에 의한 지식의 확장 및 발견을 통해 현재 질의응답, 의사결정 지원, 추천 및 검색 등 지능형 서비스 분야에서 활용되고 있기 때문이다.
갤싱어 CEO는 추론 기술을 활용하면 매번 CUDA에 종속되어 새로운 모델을 재훈련할 필요 없이 새로운 AI 모델을 빠르고 효율적으로 개발할 수 있으며, 변화하는 데이터에도 훨씬 쉽게 적응할 수 있다고 강조했다. 궁극적으로 추론 기술이 발전하고 중요성이 높아질수록 CUDA에 대한 의존도가 낮아진다는 설명이다.

2023년 기준으로 생성형 AI 시장 규모는 약 160억 달러(약 20조 7800억 원) 규모로 추산되며, 빠르게 성장을 거듭해 오는 2027년에는 약 1430억달러(약 185조7700억원)규모에 이를 전망이다.

특히 생성형 AI 모델이 점점 더 복잡해짐에 따라 추론 시장은 훈련 시장보다 더 큰 규모를 차지할 것으로 예상된다. 업계에서는 2027년 기준 추론 시장의 규모가 약 1037억달러(약 134조7000억원)에 이를 것으로 내다보고 있다.


다만, 갤싱어 CEO의 주장대로 CUDA가 당장 AI 업계에서 뒷전으로 밀려나기는 쉽지 않을 모양이다.

CUDA의 등장은 GPU를 단순한 그래픽 처리 장치에서 범용 계산 장치로 변화시켰으며, AI의 발전을 촉진하는 데 중요한 역할을 했다. 단일 명령을 처리하는 속도는 기존의 CPU가 더 우수하지만, 복수의 데이터를 병렬로 처리해야 하는 AI 모델의 학습과 추론에서는 오히려 하나의 칩에 수백~수천개의 연산코어를 갖춘 GPU가 훨씬 유리하기 때문이다.

현재 급격히 성장한 AI 산업은 실질적으로 엔비디아의 고성능 GPU와 AI칩을 바탕으로 성장해 왔고, 기업이나 개발자들도 CUDA 지원 소프트웨어를 광범위하게 사용하고 있다. 현재 AI 시장에서 사실상의 '표준'이다. 엔비디아 역시 최신 기술로 CUDA를 꾸준히 업그레이드하며 AI 산업에서 독보적인 입지를 유지하고 있다.

이런 상황에서 CUDA의 역할을 당장 추론 기술로 대체하는 것은 쉽지 않다. 무엇보다, 추론 기술은 훈련에 사용된 데이터 세트와 새로운 데이터 세트가 일치하지 않을 경우 성능이 저하될 수 있다.

겔싱어 CEO의 주장대로 CUDA 시대가 끝나고 추론 시장이 대두할 가능성은 여전히 남아있다. 향후 추론 기술의 성능이 향상되어 훈련에 비해 충분한 성능을 제공하고, 추론을 지원하는 소프트웨어와 하드웨어 생태계가 확장되며, CUDA 의존도가 높은 기존 AI 애플리케이션들이 추론을 지원하도록 확장되면 CUDA 시대가 끝날 수도 있다.

다만, 당분간 CUDA는 AI 시장에서 여전히 중요한 역할을 할 것이다. AI 추론기술이 새로운 시장을 주도하려면 좀 더 시간이 걸릴 전망이다.


박정한 글로벌이코노믹 기자 park@g-enews.com