12종 게임으로 성능 파악…크래프톤, AI 벤치마크 '오락' 공개

크래프톤이 LLM(대규모 언어 모델) 기반 AI 에이전트의 게임 수행 능력을 평가하는 벤치마크 툴 '오락(Orak)'을 공개했다.

오락은 크래프톤이 엔비디아와 공동 연구한 CPC(Co-Playable Character) 개발 경험을 토대로 구축했다. MCP(Model Context Protocol) 기술을 통해 게임 정보를 언어 모델 AI가 이해할 수 있는 형태로 전달, AI가 게임에 적용 가능한 행동을 할 수 있도록 돕는다.

이를 통해 AI가 6개 장르 별 유명 게임 2종 씩 총 12종을 플레이하도록 해 규칙 파악, 논리 추론, 오류 수정 등 여러 분야에서 게임을 얼마나 빠르게 해석하고 정확한 방식으로 플레이할 수 있는지 검증한다.

장르와 게임으로는 △액션: 스트리트 파이터·슈퍼마리오 △어드벤처: 역전재판·허 스토리 △RPG: 포켓몬스터·다키스트 던전 △시뮬레이션: 마인크래프트·스타듀 밸리 △전략: 스타크래프트·슬레이 더 스파이어 △퍼즐: 바바 이즈 유·2048 12종이 공개됐다.
크래프톤은 '오락'과 더불어 게임 환경에 맞게 LLM을 최적화하는 파인튜닝 데이터셋도 제공한다. 이를 통해 AI 기술 연구의 기준을 제시한다는 방침이다.

이강욱 크래프톤 딥러닝 본부장은 "오락을 기반으로 LLM 에이전트들의 설계 역량을 대루는 대회도 기획하고 있다"며 "게임 분야 최적화 LLM 기술을 지속적으로 고도화, 게임 플레이 경험 혁신을 주도해나갈 것"이라고 말했다.


이원용 글로벌이코노믹 기자 wony92kr@naver.com