세계 모델 정책과 6종의 VLA 모델 통합

ChatGPT 같은 인공지능이 화면 속 텍스트를 넘어 실제로 움직이는 로봇의 몸을 제어하려는 시도가 계속되고 있다. 말로 지시하면 로봇이 상황을 판단해 물건을 옮기는 기능은 이제 단순한 시연을 넘어 실제 구현 단계로 진입했다. 최근 공개된 LeRobot v0.6.0은 로봇이 행동하기 전 미래 상황을 미리 상상하는 세계 모델 정책과 다양한 크기의 VLA(Vision-Language-Action, 시각-언어-행동) 모델을 한곳에 통합해 제공한다. 사용자는 이제 복잡한 설정 없이도 최신 로봇 제어 모델들을 불러와 자신의 하드웨어에 적용할 수 있다.

이번 업데이트에서는 로봇이 미래를 예측하며 학습하는 세계 모델 정책 3종인 VLA-JEPA, FastWAM, LingBot-VA가 도입되었다. 세계 모델은 로봇이 특정 행동을 했을 때 주변 환경이 어떻게 변할지 가상으로 그려보는 기제다. 이와 함께 GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT 등 총 6종의 신규 VLA 모델이 추가되었다. VLA 모델은 카메라로 보는 시각 정보와 텍스트로 된 언어 명령을 동시에 처리해 로봇의 관절 각도나 이동 경로 같은 구체적인 행동 수치로 변환하는 역할을 한다. 모델의 크기와 구조가 다양해져 사용자는 작업의 복잡도에 따라 적절한 모델을 선택할 수 있다.

로봇이 수행한 동작이 정답이었는지 스스로 평가하는 기능을 위해 보상 모델 API인 `lerobot.rewards`가 공개되었다. 보상 모델은 로봇의 행동 결과에 점수를 매겨 학습 방향을 잡아주는 평가 도구다. 여기에는 Robometer와 TOPReward가 포함된다. Robometer는 Qwen3-VL-4B 모델을 기반으로 구축되었으며 100만 개 이상의 로봇 궤적 데이터를 학습했다. 궤적 데이터는 로봇이 작업을 수행하며 기록한 움직임과 상태의 시계열 정보다. Robometer는 별도의 작업별 추가 학습 없이도 원본 비디오와 언어 지시문만으로 작업 진행률과 성공 여부를 수치화한다.

TOPReward는 별도의 가중치 학습 과정이 전혀 없는 제로샷(zero-shot, 추가 학습 없이 즉각 추론) VLM 기반 보상 함수를 제공한다. 이는 기존의 VLM(Vision-Language Model, 시각-언어 모델)을 그대로 활용해 로봇의 궤적 비디오와 작업 지시문을 입력받고, 성공을 의미하는 특정 토큰이 나타날 확률을 계산하는 방식이다. 성능이 검증된 VLM을 그대로 보상 함수로 전환해 사용할 수 있다는 점이 특징이다. 이로써 개발자는 보유한 GPU 메모리 사양에 맞춰 최적의 VLA 모델을 선택하고, 공개된 보상 모델 API를 통해 데이터 파이프라인의 최적화 수치를 객관적으로 확인할 수 있는 기준을 갖게 되었다.

VLA-JEPA와 LingBot-VA의 미래 예측 메커니즘

로봇이 움직이기 전, 다음에 어떤 일이 벌어질지 미리 생각해야 할까? VLA-JEPA는 Qwen3-VL-2B를 기반으로 하며, 잠재 공간(데이터의 핵심 특징만 남긴 압축된 수학적 표현 영역)에서 미래를 예측하며 학습한다. 학습 과정에서 JEPA 세계 모델은 로봇이 특정 행동을 했을 때 다음에 나타날 화면 프레임을 미리 예상하는 훈련을 반복한다. 추론 단계에서는 이 세계 모델을 완전히 제거하고 행동 제어 부분만 남긴다. 결과적으로 학습 시에는 세계 모델의 정교한 감독을 받으면서도, 실제 구동 시에는 추가적인 계산 비용이 전혀 발생하지 않는 구조를 갖췄다.

LingBot-VA는 자기회귀(이전의 출력값을 다시 입력으로 사용하여 다음 값을 예측하는 방식) 비디오-행동 모델을 사용한다. 이 모델은 미래의 비디오 프레임과 로봇의 행동을 덩어리(chunk) 단위로 묶어서 동시에 예측한다. 예측 과정에서 발생하는 오차를 줄이기 위해 실제 환경에서 관측한 데이터를 다시 모델에 입력하여 상상과 현실의 간극을 좁힌다. 사용자는 `--policy.save_predicted_video=true` 옵션을 사용하여 로봇이 내부적으로 예측한 영상을 파일로 저장하고, 이를 실제 수행 영상과 대조해 분석할 수 있다. 추론을 위해서는 24~32GB 메모리를 갖춘 GPU 1장이 필요하다.

FastWAM은 약 5B 파라미터 규모의 비디오 생성 전문가와 소형 행동 전문가를 단일 네트워크로 결합한 형태다. 학습 단계에서는 롤아웃(모델이 예측한 행동을 바탕으로 시뮬레이션을 연속적으로 실행하는 것)을 꿈꾸듯 생성하며 미래 상태를 학습한다. 하지만 실제 추론 시에는 이러한 복잡한 생성 과정을 모두 건너뛴다. 대신 행동 덩어리를 직접 디노이징(데이터에 섞인 노이즈를 제거해 깨끗한 신호를 찾아내는 과정)하여 즉각적인 행동 값을 출력한다. 사용자는 `lerobot/fastwam_base` 체크포인트를 통해 자신의 환경에 맞게 모델을 파인튜닝할 수 있다.

이 세 가지 모델은 학습 단계에서 미래를 예측하는 메커니즘을 서로 다르게 설계하여 추론 비용과 정밀도 사이의 절충점을 찾았다. VLA-JEPA는 추론 시 연산량을 없애는 데 집중했고, LingBot-VA는 관측값 피드백을 통한 정밀한 예측에, FastWAM은 생성과 디노이징의 분리를 통한 효율성에 집중했다. 이는 사용자가 보유한 GPU 메모리 사양과 요구되는 제어 정밀도에 따라 적절한 VLA 모델을 선택하는 기술적 근거가 된다.

모델 규모에 따른 하드웨어 요구사항 비교

GPU 예산이 한정된 엔지니어가 하드웨어 사양표를 보며 모델을 선택하는 순간, 파라미터 규모는 단순한 숫자가 아니라 실제 실행 가능 여부를 결정하는 물리적 제약이 된다. EVO1은 0.77B 파라미터를 탑재한 모델이다. InternVL3-1B 백본에 플로우 매칭(데이터의 분포를 확률 흐름으로 연결해 예측하는 방식) 행동 헤드를 결합했다. 2단계 파인튜닝과 리얼타임 청킹(행동 단위를 쪼개어 실시간으로 생성하는 기술)을 지원해 저사양 GPU에서도 실시간 실행이 가능하다. Multitask DiT는 약 450M 파라미터 규모로 더 작다. CLIP 비전 및 언어 임베딩 조건부 확산 트랜스포머(노이즈를 단계적으로 제거하며 데이터를 생성하는 구조)를 사용해 자연어로 선택한 여러 작업을 한 모델로 학습한다. 모델 크기를 최소화해 개별 사용자가 직접 학습시킬 수 있는 환경을 제공한다.

MolmoAct2는 배치 환경의 메모리 효율성을 구체적인 수치로 증명한다. bf16(연산 속도와 정밀도의 균형을 맞춘 16비트 부동소수점) 기준 추론 시 약 12GB의 GPU 메모리가 필요하다. LoRA(전체 가중치가 아닌 일부 저차원 행렬만 업데이트하는 효율적 미세조정) 파인튜닝을 진행할 때는 24GB GPU 1장으로 작업이 가능하다. 하드웨어 진입 장벽을 낮춰 실제 로봇 배포 단계에서 발생하는 메모리 부족 문제를 해결했다.

고성능 제어를 위해 파라미터 규모를 키운 모델들은 더 넓은 메모리 대역폭을 요구한다. LingBot-VA는 추론 단계에서 24~32GB GPU 메모리를 점유한다. EO-1은 Qwen2.5-VL-3B 백본과 플로우 매칭 행동 헤드를 사용한다. 시각, 텍스트, 행동 데이터가 섞인 인터리브드(interleaved, 교차 배치) 데이터로 사전 학습되어 복잡한 명령 수행에 최적화되었다. 모델 규모가 커질수록 요구 사양은 높아지지만, 처리 가능한 작업의 정밀도와 일반화 성능은 함께 상승한다.

데이터 로딩 2배 가속과 뎁스(Depth) 지원

무료로 제공되는 도구라도 실제 사용자가 지불하는 비용은 시간과 컴퓨팅 자원으로 나타난다. 로봇 학습 데이터셋의 크기가 커질수록 데이터를 읽어오는 속도가 전체 학습 시간을 결정하는 병목 지점이 된다. LeRobot v0.6.0은 데이터 로딩 속도를 최대 2배 향상했다. 여러 대의 카메라 프레임을 병렬로 디코딩(압축된 영상을 푸는 과정)하고, 데이터로더 워커가 프로세스 간에 `uint8`(8비트 부호 없는 정수) 프레임을 전송하도록 설계해 메모리 사용량을 4배 줄였다. 또한 지속성 워커가 에포크(전체 데이터 학습 1회) 사이에서도 디코더 캐시를 유지해 불필요한 재계산을 막는다. 특히 대규모 데이터셋에서 특정 에피소드만 골라 읽는 부분 로딩 속도는 기존 275초에서 0.06초로 단축됐다. 샘플링 과정은 결정론적이고 재개 가능하게 변경되어, 학습이 중단되어도 정확히 같은 지점부터 다시 시작할 수 있다. 이는 개발자가 데이터셋의 일부만 빠르게 확인하며 실험 주기를 획기적으로 줄일 수 있음을 의미한다.

물리적 거리 정보를 기록하는 뎁스 맵(Depth Map) 지원으로 데이터의 입체감이 더해졌다. Intel RealSense 장치를 연결하고 use_depth 설정을 활성화하면 밀리미터 단위의 거리 정보가 엔드 투 엔드로 기록된다. 이 데이터는 12비트 압축 비디오 스트림으로 저장되어 저장 공간을 최적화하며, 학습 단계에서 다시 물리 단위로 디코딩된다. 해당 기능은 SO-100, SO-101, Koch, OpenArm, reBot, Unitree G1 등 다양한 로봇 플랫폼에서 작동하며 lerobot-dataset-viz 도구를 통해 실시간으로 렌더링해 확인할 수 있다. 비디오 인코딩 효율을 높이기 위한 하드웨어 가속 옵션도 추가됐다. `--dataset.rgb_encoder.*` 설정을 통해 NVENC(엔비디아 하드웨어 인코더)나 VideoToolbox 같은 가속기를 선택할 수 있다. `vcodec=auto` 옵션을 사용하면 시스템이 사용 가능한 하드웨어 인코더를 자동으로 탐색해 기본 소프트웨어 AV1 인코더보다 빠르게 영상을 처리한다.

데이터셋의 가치를 결정하는 것은 단순한 영상이 아니라 그 영상이 무엇을 의미하는지에 대한 정교한 설명이다. 기존에는 에피소드당 하나의 텍스트 설명만 저장할 수 있었으나, 이제는 타임스탬프가 찍힌 하위 작업, 계획, 메모리, 수정 사항, 음성, 카메라별 VQA(시각 질의응답) 쌍 등 풍부한 언어 주석을 기본적으로 저장한다. `lerobot-annotate` CLI(명령줄 인터페이스)를 사용하면 VLM(시각-언어 모델)이 에피소드 영상을 시청하며 자동으로 주석을 생성해 채워 넣는다.

lerobot-annotate --dataset_id <dataset_id>

이렇게 생성된 주석은 YAML 레시피 층을 통해 학습 시점에 채팅 형태의 메시지로 변환된다. 이는 로봇이 긴 호흡의 작업을 수행하거나 사람과 대화하며 동작하는 정책을 학습시키는 데 필요한 데이터 구조다. HF Jobs(허깅페이스 클라우드 학습 서비스)를 통해 이 파이프라인을 확장하면 수만 개의 에피소드에 대한 주석 작업을 자동화하여 데이터 구축 비용을 낮출 수 있다.

lerobot-eval과 HF Jobs를 통한 실무 검증 환경

로봇 학습 환경을 구축하는 데 소요되던 시간이 며칠에서 몇 분 단위로 압축되었다. 과거에는 시뮬레이터마다 제각각인 의존성 패키지를 맞추는 과정에서 많은 시간이 낭비되었으나, LeRobot v0.6.0은 이를 단일 인터페이스로 통합했다. `lerobot-eval` CLI(명령줄 인터페이스)를 통해 6종의 신규 시뮬레이션 벤치마크가 추가되었으며, 이로써 총 9개의 벤치마크 제품군을 하나의 도구로 관리할 수 있다. 여기에는 LIBERO, Meta-World, NVIDIA IsaacLab-Arena 같은 주요 환경이 모두 포함되어 모델의 범용성을 다각도로 검증할 수 있다.

시뮬레이터 백엔드는 시스템 의존성이 매우 까다로워 설치 과정에서 라이브러리 충돌이나 버전 오류가 빈번하게 발생한다. LeRobot은 이를 해결하기 위해 각 벤치마크별로 최적화된 전용 Docker(애플리케이션 실행 환경을 패키징하는 컨테이너 기술) 이미지를 제공한다. 개발자는 복잡한 설치 레시피를 일일이 따라 하지 않고도 즉시 검증 환경을 실행할 수 있다. 이는 로컬 개발 환경의 오염 없이 다양한 VLA 모델의 성능을 빠르게 교차 검증하고 결과값을 비교하는 실무적 기반이 된다.

학습 인프라의 확장성 또한 강화되어 하드웨어 제약으로 인한 진입장벽을 낮췄다. FSDP(Fully Sharded Data Parallel, 모델 상태를 여러 GPU에 분산 저장해 메모리 효율을 높이는 기술) 학습을 지원하여 대규모 파라미터 모델을 다룰 때 발생하는 메모리 부족 문제를 완화했다. 또한 HF Jobs라는 클라우드 학습 환경을 지원함으로써 고가의 GPU 서버를 직접 구축하지 않은 개인 개발자나 소규모 팀도 대규모 데이터셋을 학습시킬 수 있는 경로를 열었다. 클라우드 기반의 학습 파이프라인은 데이터 수집부터 모델 검증까지의 전체 사이클을 가속한다.

NVIDIA의 최신 파운데이션 모델인 GR00T N1.7 통합 환경 역시 간소화된 명령어로 구축 가능하다. Flash-attention(메모리 사용량을 줄이고 연산 속도를 높이는 어텐션 최적화 기법)을 선택 사항으로 변경하여 다양한 하드웨어에서의 설치 호환성을 높였다. 아래 명령어를 통해 NVIDIA GR00T N1.7 통합 환경을 즉시 구축할 수 있다.

pip install 'lerobot[groot]'

이러한 도구적 통합은 모델의 이론적 성능을 넘어 실제 물리적 제어 가능성을 빠르게 확인해야 하는 엔지니어에게 실질적인 배포 시간을 단축하는 이득을 준다.

텍스트 기반의 인공지능이 물리 세계로 확장되는 과정은 이제 이론적 가능성을 넘어 보유한 하드웨어 자원을 어떻게 배분하느냐의 문제로 전환되었다. 사용 가능한 GPU 메모리 사양에 맞춰 VLA 모델을 선택하고 데이터 파이프라인의 최적화 수치를 확인하는 과정이 로봇 제어의 정밀도와 실배치 가능성을 결정한다.

엔지니어는 `pip install 'lerobot[groot]'` 명령어로 통합 환경을 구축하여 모델의 이론적 성능이 실제 물리적 제어 가능성으로 이어지는지 즉시 검증할 수 있다.