엔비디아, 1000개 게임 플레이하는 AI 'NitroGen' 공개…로봇공학 혁명 예고

엔비디아가 1000개 이상의 게임을 플레이할 수 있는 범용 인공지능(AI) 에이전트 'NitroGen(나이트로젠)'을 공개했다. 더디코더는 21일(현지시각) 엔비디아가 게임 AI를 넘어 로봇공학의 핵심 기술로 활용 가능한 이 모델을 오픈소스로 발표했다고 보도했다.

나이트로젠은 유튜브와 트위치에서 수집한 4만 시간 분량의 게임플레이 영상을 학습한 비전-액션 기반 모델이다. 엔비디아 연구진은 스탠퍼드대, 캘리포니아공대 등과 공동으로 개발한 이 모델을 통해 로봇공학 기반 모델이 다양한 물리 엔진과 시각 스타일을 가진 가상환경 전반에서 범용 에이전트로 작동할 수 있음을 입증했다고 밝혔다.


나이트로젠의 핵심 혁신은 데이터 수집 방식에 있다.

게임 방송을 하는 스트리머들은 시청자들이 자신의 조작을 볼 수 있도록 화면 한쪽에 게임 컨트롤러 모양을 띄워놓는다. 연구진은 바로 이 컨트롤러 화면을 AI로 분석해 플레이어가 어떤 버튼을 언제 눌렀는지를 자동으로 알아냈다.
구체적으로는 템플릿 매칭과 세그포머(SegFormer)라는 AI 모델을 활용했다. 이 기술은 화면 속 컨트롤러 이미지에서 조이스틱이 어느 방향으로 얼마나 기울어졌는지, 어떤 버튼이 눌렸는지를 프레임 단위로 파악한다. 정확도는 조이스틱 움직임 분석에서 84%, 버튼 입력 판독에서 96%에 이르렀다.

이를 통해 연구진은 기존 방식보다 훨씬 저렴한 비용으로 대규모 학습 데이터를 구축했다. 액션 롤플레잉게임(RPG), 플랫포머, 로그라이크 등 다양한 장르를 아우르는 1,000개 이상의 게임에서 4만 시간 분량의 데이터를 확보했다.


나이트로젠은 엔비디아의 휴머노이드 로봇 기반 모델인 GR00T N1.5를 토대로 개발됐다. GR00T N1.5는 엔비디아가 지난 3월 공개한 범용 로봇 추론 및 기술을 위한 개방형 기반 모델로, 언어와 이미지를 포함한 다중 입력을 받아 다양한 환경에서 조작 작업을 수행한다.

연구진은 로봇 제어를 위해 개발된 GR00T 아키텍처가 게임 환경에도 효과적으로 적용될 수 있음을 확인했다. 로봇의 모터 명령 대신 게임패드의 조이스틱 움직임과 버튼 입력을 출력하도록 조정한 것이다. 이는 AI 에이전트가 물리적 세계와 가상 세계를 넘나들며 작동할 수 있는 가능성을 보여준다.
엔비디아 AI 담당 이사인 짐 팬은 "나이트로젠은 액션을 위한 GPT를 만들려는 시도"라며 "범용 환경에서 작동 가능한 구현 AI 에이전트 개발이 AI 연구의 성배로 여겨져 왔다"고 밝혔다.


연구진은 나이트로젠의 전이 학습 능력을 검증했다. 학습 단계에서 제외한 게임에 투입했을 때, 처음부터 훈련한 모델 대비 최대 52% 더 높은 작업 성공률을 기록했다. 특히 적은 데이터로 파인튜닝을 진행할 경우 효과가 두드러졌다. 학습 데이터가 30시간에 불과한 저데이터 환경에서 52%의 상대적 성능 향상을 달성했다.

10개의 상용 게임에서 30개 작업을 수행하는 벤치마크 테스트에서, 나이트로젠은 3차원 액션 게임의 전투, 2차원 플랫포머의 정밀 제어, 절차적 생성 세계의 탐색 등 다양한 영역에서 강한 역량을 보였다.

모델은 약 5억 개의 파라미터를 가진 비전 트랜스포머 기반 구조로, 게임패드 동작을 위해 확산 기반 모델을 활용한다. 게임 프레임을 입력받아 실시간으로 컨트롤러 신호를 생성하며, 표준 게임패드를 지원하는 거의 모든 게임과 호환된다.

엔비디아는 나이트로젠의 데이터셋, 평가 도구, 사전 훈련된 모델 가중치, 소스 코드를 전면 공개했다. 연구진은 "범용 구현 에이전트 연구를 가속화하는 기초 자원으로 활용되길 기대한다"고 밝혔다. 모델과 데이터는 허깅페이스를 통해 배포되며, 연구자들이 자유롭게 활용할 수 있다.

업계에서는 엔비디아의 이번 행보가 로봇공학 시장 선점을 위한 전략의 일환으로 분석하고 있다. 엔비디아는 AI 반도체 시장의 경쟁이 격화되는 가운데 로봇공학을 차세대 성장 동력으로 낙점했다. 지난 1월 CES 2025에서 젠슨 황 엔비디아 최고경영자는 로봇 개발 플랫폼 '코스모스'를 공개하며 물리 AI 시장 진출을 선언했다.

리서치앤마켓에 따르면 로봇공학 분야 모션 제어 소프트웨어 시장 규모는 지난해 178억6000만 달러(약 26조4500억 원)로 평가됐으며, 2035년까지 1017억1000만 달러(약 150조6300억 원)에 이를 전망이다. 연평균 19%의 성장률이 예상된다.


박정한 글로벌이코노믹 기자 park@g-enews.com