Robostral Navigate 공개 및 벤치마크 성능

이번에 공개된 Robostral Navigate는 단일 RGB 카메라 이미지와 자연어 지침을 입력받아 로봇을 목적지까지 이동시키는 8B(80억 개) 파라미터 규모의 모델이다. 가장 큰 특징은 LiDAR(라이다)나 깊이 센서(Depth Sensor) 같은 추가 장비 없이 일반 RGB 카메라 하나만으로 복잡한 환경을 자율적으로 주행한다는 점이다.

성능 검증을 위해 사용된 R2R-CE(Room-to-Room in Continuous Environments) 벤치마크 결과, 학습에 사용되지 않은 환경(validation unseen)에서 76.6%의 성공률을 기록했다. 학습 데이터가 포함된 환경(validation seen)에서는 79.4%의 성공률을 보였다. 이는 기존의 단일 카메라 기반 접근 방식보다 9.7%포인트 높으며, 깊이 센서나 다중 카메라를 사용하는 최상위 시스템보다도 4.5%포인트 높은 수치다.

해당 모델은 바퀴형, 다리형, 비행형 로봇 등 다양한 형태의 하드웨어에서 작동하며, 로봇의 크기나 카메라의 내부 파라미터(intrinsics) 차이에도 관계없이 일반화된 성능을 유지한다. 적용 가능한 환경으로는 사무실, 주거 및 상업용 건물, 실외 공간 등이 포함된다.

포인트 기반 내비게이션과 훈련 효율화 구조

모델의 작동 방식은 '포인팅(Pointing)' 기반의 예측 시스템을 중심으로 한다. 로봇이 현재 카메라 뷰에서 타겟 위치의 이미지 좌표와 도착 시 필요한 방향(orientation)을 추론하여 다음 이동 지점을 결정한다. 거리 기반의 메트릭 변위(metric displacements)를 사용하는 대신 이미지 좌표를 직접 예측하는 방식을 택함으로써, 카메라 설정이나 세계 규모(world scale)의 변화에 더 유연하게 대응한다. 다만, 타겟 위치가 현재 시야(field of view) 밖에 있을 경우에는 로봇의 지역 좌표계(local coordinate frame)를 기준으로 한 변위 명령으로 전환해 대응한다.

모델 구조는 포인팅, 카운팅, 객체 로컬라이제이션 등 그라운딩(Grounding) 작업에 특화된 Mistral의 시각-언어 모델(VLM)을 초기값으로 사용했다. 객체의 위치를 이해하는 능력을 내비게이션 능력으로 확장시킨 구조다. 훈련 데이터는 시뮬레이션 환경에서 구축된 파이프라인을 통해 생성되었으며, 6,000개의 장면에서 수집된 약 400,000개의 궤적(trajectories) 데이터셋이 사용되었다.

훈련 효율을 높이기 위해 '프리픽스 캐싱(prefix-caching)' 기반의 알고리즘을 도입했다. 트리 기반의 어텐션 마스킹(tree-based attention-masking) 전략을 사용하여 전체 에피소드를 단일 시퀀스로 압축함으로써, 한 번의 순전파(forward pass)만으로 모든 타임스텝을 훈련시키면서도 타임스텝 간의 정보 유출을 방지했다. 이 방식은 타임스텝당 하나의 샘플을 훈련시키는 기존 방식 대비 훈련 토큰 수를 22배 줄였으며, 수개월이 소요될 훈련 기간을 수일 단위로 단축했다.

하드웨어 제약 해소와 실무 도입의 변화

개발자와 실무자가 주목해야 할 지점은 센서 구성의 단순화와 분포 변화(distribution shift) 해결 방식이다. 기존의 고성능 내비게이션 시스템은 정확한 거리 측정을 위해 고가의 LiDAR나 깊이 센서에 의존했으나, Robostral Navigate는 이를 RGB 카메라 하나로 대체하면서도 더 높은 성공률을 증명했다. 이는 로봇 제조 시 하드웨어 비용(BOM)을 낮추고 센서 캘리브레이션의 복잡성을 줄이는 결과로 이어진다.

또한, 단순한 행동 복제(behavior cloning) 방식에서 발생하는 분포 변화 문제를 해결하기 위해 온라인 강화학습 알고리즘인 CISPO를 적용했다. 지도 학습(supervised training) 단계 이후 CISPO를 통한 사후 훈련을 진행함으로써 모델이 시행착오를 통해 학습하고 실패 상황에서 복구하는 탐색 행동을 습득하게 했다. 이 과정만으로 성공률이 3.2% 추가 상승했다.

결과적으로 실무자는 복잡한 센서 퓨전 파이프라인을 설계하는 대신, 시뮬레이션 기반의 대규모 데이터 생성과 효율적인 토큰 관리 전략을 통해 모델의 주행 성능을 고도화하는 방향으로 개발 우선순위를 조정할 수 있게 되었다.