RTX 4090 한 장으로 구현한 15 FPS의 가상 세계

로봇에게 테이블 위 물건을 밀도록 가르치려면 사람이 직접 수백 번의 시연 데이터를 수집해야 한다. 하드웨어를 세팅하고 조명을 맞추는 과정에서 장비가 고장 나거나 물건 위치가 어긋나면 처음부터 다시 시작해야 하며, 새로운 작업을 추가할 때마다 투입 시간이 기하급수적으로 늘어난다. 이러한 제약을 해결하기 위해 실제 데이터 없이 시뮬레이션 데이터만 100% 사용하여 학습한 모방 학습 정책이 실제 로봇에서 성공적으로 동작했다.

핵심은 인터랙티브 월드 시뮬레이터(Interactive World Simulator)다. 이 모델은 물리 엔진 없이 픽셀 공간에서 다음 프레임을 예측하는 액션 조건부(Action-conditioned) 비디오 예측 모델이다. 객체의 기하학적 구조, 접촉 역학, 마찰 등을 수동으로 모델링하는 대신, 현재 이미지와 로봇의 액션 시퀀스를 입력받아 다음에 나타날 시각적 결과를 직접 예측한다. 이를 통해 데이터 수집과 정책 평가에 소요되는 시간을 줄였다.

단일 RTX 4090 GPU 한 장으로 15 FPS(초당 프레임 수) 속도를 구현했으며, 10분 이상의 장기 예측을 수행해도 비디오가 깨지지 않고 물리적으로 타당한 상태를 유지한다. 사용자가 원격 제어 장치로 가상 세계 속 로봇을 조작하면 모델이 실시간으로 다음 장면을 생성한다. 이는 고가의 컴퓨팅 클러스터 없이 소비자용 하드웨어만으로 로봇 동작을 시뮬레이션하고 정책을 검증하는 파이프라인을 구축한 결과다.

범용성 검증을 위해 4가지 조작 작업을 학습시켰다. 강체 접촉을 다루는 T자 밀기, 변형체와 강체가 상호작용하는 로프 라우팅, 정밀한 그리퍼 역학이 필요한 머그컵 잡기, 다수 객체를 조작하는 더미 쓸어내기가 대상이다. 로프 라우팅에서는 로프가 클립에 삽입되는 상황과 스쳐 지나가는 상황을 구분하며, 머그컵 잡기에서는 컵이 미끄러지거나 손잡이가 회전하는 미세 역학을 포착한다. 이 모든 동작은 하드코딩된 물리 지식 없이 상호작용 데이터만으로 학습되어, 수동 모델링 없이도 로봇 정책의 실제 성능을 예측할 수 있게 됐다.

오토인코더와 잠재 공간을 이용한 2단계 학습 구조

연산 비용을 줄이면서 시각적 품질을 유지하기 위해 핵심 정보만 남긴 압축 공간을 활용한다. 모델은 1단계로 RGB 이미지를 2D 잠재 표현(Latent representation)으로 압축하고 이를 다시 원래 이미지로 복원하는 오토인코더를 학습한다. 오토인코더는 입력 이미지에서 중복 정보를 제거하고 작은 크기의 벡터 형태로 변환하여, 모델이 수백만 개의 픽셀 대신 저차원 공간에서 효율적으로 시각적 추론을 수행하게 한다.

오토인코더 학습 후에는 가중치를 고정하고 잠재 공간 내에서 동작하는 액션 조건부 역학 모델을 학습시킨다. 가중치를 고정해 역학 모델 학습 중 잠재 공간의 좌표 체계가 변하지 않도록 기준점을 제공하기 위해서다. 이 역학 모델은 과거의 시각적 잠재 상태와 로봇의 액션 시퀀스를 입력받아 다음 시점의 잠재 상태를 예측하며, 결과값은 다시 디코더를 거쳐 픽셀 이미지로 복원된다. 압축된 잠재 공간에서 상태 변화를 계산하므로 연산 효율이 상승한다.

추론 단계에서는 예측된 프레임이 다시 다음 예측의 입력이 되는 자기회귀(Autoregressive) 구조를 적용해 연속적인 미래 영상을 생성한다. 예측 단계가 길어질수록 오차가 누적되어 영상이 뭉개지는 불안정성을 해결하기 위해 일관성 모델(Consistency models)을 도입했다. 일관성 모델은 샘플링 단계를 줄여 반응 속도를 높이고, 10분 이상의 장기 예측에서도 영상 품질과 물리적 일관성을 유지한다.

수동 모델링의 한계를 넘은 데이터 기반 시뮬레이션

이러한 효율적인 학습 구조는 기존 물리 시뮬레이터의 한계를 극복하는 기반이 된다. 전통적인 시뮬레이터는 물리 법칙을 수학적으로 정의하며, 개발자가 객체의 기하학적 구조, 접촉 역학, 마찰력, 변형 정도를 일일이 수동으로 설정해야 한다. 현실의 모든 변수를 수식으로 옮기는 것은 불가능하며, 하드웨어나 조명 조건이 바뀌면 설정을 다시 조정해야 한다. 이 과정에서 시뮬레이션과 실제 환경의 차이인 Sim-to-Real 간극이 발생해 가상 환경에서 학습한 정책이 실제 로봇에서 오작동하는 원인이 된다.

데이터 기반 비디오 생성 모델은 이런 수동 설정의 번거로움을 해결한다. 기존 모델들은 로봇의 동작 명령에 따라 결과가 변하는 액션 조건화 기능이 부족해 단순 영상 생성에 그치거나, 추론 속도가 느려 실시간 상호작용이 어려웠다. 특히 장기 예측 시 화면이 뭉개지는 불안정성으로 인해 실제 정책 평가에 활용하기 어려웠다.

이번 모델은 액션 조건부 예측으로 동작 명령에 즉각 반응하는 픽셀 수준의 물리적 결과를 생성한다. 개발자는 마찰 계수나 접촉면 강성을 수동으로 입력하는 대신 실제 데이터를 통해 물리 법칙을 학습시킨다. 이를 통해 Sim-to-Real 간극을 줄이고 실제 데이터 0% 상태에서도 모방 학습 정책을 성공적으로 학습시켜 실제 로봇에 배포할 수 있는 경로를 확보했다.

실제 데이터 0% 학습과 정책 평가의 상관관계

연구진은 실제 데이터 0%, 시뮬레이터 생성 데이터 100%만으로 모방 학습 정책을 학습시킨 뒤 실제 로봇에 배포했다. 배포된 로봇은 작업을 완수하는 수준을 넘어, 동작 중 물체를 밀거나 위치를 바꾸는 외부 섭동(Perturbation)에 대해서도 강건하게 대응했다. 이는 시뮬레이터가 생성한 가상 데이터만으로 실제 환경의 복잡한 물리적 상호작용을 충분히 학습시킬 수 있음을 증명한다.

정책 신뢰도를 검증하기 위해 DP, ACT, π0, π0.5라는 4가지 모방 학습 정책을 시뮬레이터와 실제 로봇에서 동일한 초기 설정으로 평가했다. 학습 과정 중 특정 시점에 저장된 모델 상태인 체크포인트를 기준으로 점수를 측정한 결과, 모든 작업과 정책에서 시뮬레이터 점수와 실제 세계 점수 사이에 강한 상관관계를 보였다. 가상 환경의 성능 수치가 실제 로봇의 성공률과 직결된다는 점이 확인된 것이다.

정성적 결과에서도 일치성이 뚜렷했다. 시뮬레이터에서 성공한 정책 체크포인트는 실제 로봇에서도 성공했고, 실패한 정책은 실제 로봇에서도 실패했다. 이러한 일치성은 매 실험마다 물체 위치를 맞추는 씬 리셋(Scene reset) 작업을 획기적으로 줄이는 근거가 된다. 하드웨어 파손 위험이 있는 고위험 동작이나 수천 번의 반복이 필요한 필터링 단계를 시뮬레이터에서 완결하여 최적의 정책만을 선별할 수 있는 정량적 검증 체계가 구축됐다.

물리 엔진 설계 없는 로봇 학습의 실무적 의미

이번 모델은 고도의 전문성을 갖춘 물리 모델링 인력 없이도 상호작용 데이터만으로 가상 학습 환경을 구축할 수 있게 함으로써 로봇 학습의 실무적 진입 장벽을 낮췄다. 수동 설계 과정에서 발생하는 Sim-to-Real 간극과 그로 인해 실제 데이터를 다시 수집해야 하는 악순환을 끊어낸 것이다.

인프라 측면에서도 소비자용 GPU만으로 충분한 성능을 낼 수 있다는 점이 이점이다. 대규모 GPU 클러스터 없이도 소규모 팀이나 개별 연구자가 정책 평가와 데이터 증강 파이프라인을 직접 운용할 수 있다. 하드웨어 제약이 사라지면 가상 데이터를 생성해 모델의 강건성을 높이는 실험을 빠르게 반복할 수 있으며, 이는 제품 개발 주기 단축과 비용 절감으로 이어진다.

특히 실제 로봇 배포 전 시뮬레이터 내에서 정책 체크포인트를 빠르게 필터링함으로써 하드웨어 파손 리스크를 최소화할 수 있다. 시뮬레이터와 실제 세계 점수의 상관관계가 확인되었기에, 가상 환경에서 실패한 체크포인트는 실제 로봇에 적용하지 않고 즉시 배제하는 검증 기준을 갖게 된 것이다. 무분별한 실물 테스트로 인한 그리퍼 파손이나 기기 고장 리스크를 줄이고, 장면을 수동으로 초기화하는 물리적 번거로움을 낮췄다.

로봇 학습을 위해 매번 하드웨어를 세팅하고 수백 번의 시연을 반복해야 했던 물리적 비용은 이제 데이터 기반 시뮬레이션으로 대체된다. 실제 데이터 0%의 환경에서 학습한 정책이 실제 로봇에서 성공적으로 동작한다는 결과는 가상 환경의 검증 가능성을 실무 수준으로 끌어올렸다.

RTX 4090 GPU 한 장으로 15 FPS의 비디오 예측을 수행하는 구조는 수동 물리 모델링 없이 정책의 성능을 예측하는 객관적 지표가 된다. 이제 로봇의 성공 여부는 현장의 시행착오가 아니라 시뮬레이터의 정량적 데이터가 결정한다.