"지도 없이 운전하는 차” 실현 조건은 VLA·데이터·칩·센서 결합

자율주행 시스템에 새로운 변화가 나타나고 있다. 완전 자율주행 시대를 여는 핵심 기술은 고정밀 지도를 벗어난 Vision-Language-Action(VLA) 모델과 방대한 주행 데이터, 전용 AI 칩·센서의 조합이라고 지난 20일(현지시각) 디 인포메이션이 보도했다.

VLA 모델은 카메라·라이더 등 센서가 포착한 시각 정보를 먼저 인식하고, 이를 내부 언어 표현으로 변환한 뒤 행동으로 연결하는 일종의 자율주행 AI 구조이다. 먼저 차량 주변 환경을 이미지나 포인트클라우드로 받아들이는 시각 인식 단계, 시각 데이터를 장면 설명, 물체 식별, 교통 규칙 등 텍스트 형태로 정리하는 언어 해석 단계, 언어 표현을 바탕으로 가속·제동·조향 등 주행 명령을 생성하는 행동 결정 단계 등 총 3단계로 구성된다.

이 과정을 통해 VLA 모델은 사람 운전자가 눈으로 보고 생각하는 것처럼 ‘이곳에 멈춰야 한다’, ‘저 신호가 바뀔 때까지 기다려야 한다’는 추론을 수행하며, 고정밀 지도 없이도 복잡한 도로 환경을 자율적으로 주행할 수 있게 해 준다.


딥루트 AI의 공동창업자이자 CEO인 맥스웰 저우는 “고정밀 지도는 도로 폭·차선 위치 같은 정적 정보만 전달할 뿐, 보행자 횡단이나 긴급 차량 진입 같은 복합 상황에는 대응하기 어렵다”고 설명했다. 이에 딥루트는 사람이 눈으로 본 장면을 곧바로 언어로 해석해 다음 행동을 결정하는 VLA 기술을 도입했다.
예컨대 전방 횡단보도를 카메라가 포착하면 ‘횡단보도 앞 정지, 보행자 대기’라는 문장으로 변환하고, 신호등 색 변화에 따라 ‘출발 준비’ 명령을 자동 생성한다. 지난해 IAA 모빌리티 2025에서 선보인 딥루트 IO 2.0은 이런 VLA 과정을 실시간으로 처리하며 현재까지 약 10만 대 생산 차량에 적용됐다.


VLA 성능은 처리 속도와 학습량에 따라 결정된다. 엑스펭은 자체 개발한 AI 칩 ‘튜링’을 지난 2분기부터 대량 생산해, 30억 개 매개변수를 지닌 VLA 모델을 차량 내에서 직접 연산하도록 설계했다. 여기에 라이다 대신 값비싼 고해상도 센서 대신 카메라·레이더를 활용해 대용량 주행 데이터를 매일 축적한다.

모멘타는 다년간 축적해온 데이터와 ‘플라이휠’(Flywheel) 빅 모델을 결합해 BMW·메르세데스벤츠에 운전자 보조 시스템을 공급 중이다. 최근 60억 달러(약 8조 550억 원)로 평가받은 이 회사는 추가 투자로 데이터셋을 확장해 VLA 학습 효율을 더욱 높일 계획이다.

두 기술 축은 상호 보완적이다. 딥루트의 VLA 소프트웨어가 복잡한 판단을 수행하는 ‘두뇌’라면, 엑스펭의 칩·센서와 모멘타의 대용량 주행 데이터는 그 연산을 빠르고 정확하게 뒷받침하는 ‘신경망’ 역할을 한다. 이처럼 AI 연산 플랫폼과 하드웨어·데이터 인프라가 결합돼야 비로소 지도 없이는 물론, 인간 운전자만큼 유연하게 도심을 주행할 수 있다.


완전 자율주행 차량의 상용화에는 안전과 투명성 확보가 필수다. VLA 모델은 추론 과정을 풀어 설명하도록 설계돼, 사고 시 원인 분석과 사용자 신뢰 구축에 유리하다. 업계 관계자는 “시스템 내부가 ‘깜깜이’로 남아 있으면 규제 당국과 소비자가 받아들이기 어렵다”고 말했다.

현재 미국과 중국 업체들은 대규모 실도로 학습과 전용 하드웨어 결합으로 기술 주도권을 다투고 있다. VLA 모델과 방대한 주행 데이터, AI 칩·센서의 조합이 완전 자율주행 상용화 시기를 결정할 전망이다.


박정한 글로벌이코노믹 기자 park@g-enews.com