로봇 학습용 ABC 데이터셋 공개와 인프라 구축 사실
물리적 AI(Physical AI) 학습을 위한 데이터 파이프라인 스타트업 XDOF가 2024년 10월 공식 출범하며 데이터 수집 및 주석(Annotation) 시스템을 공개했다. XDOF는 Thrive Capital, Spark Capital, a16z, Lux, WndrCo로부터 7,000만 달러의 투자를 유치했으며, 현재 약 60명의 직원이 20여 개의 고객사와 협력하고 있다. 고객사에는 구체적인 명칭이 밝혀지지 않은 여러 프런티어 AI 랩(Frontier AI Labs)이 포함되어 있다.
이번 발표의 핵심은 UC 버클리 AI 연구소와 협력해 출시한 'ABC' 데이터셋이다. ABC는 지금까지 공개된 로봇 학습 데이터 중 최대 규모의 고품질 데이터셋을 지향하며, 구체적인 구성 수치는 다음과 같다.
- 로봇 조작 데이터 궤적(Trajectories): 130,000건
- 시뮬레이션 데이터: 300시간
- 평가 데이터: 100시간
XDOF는 이 데이터를 활용해 티셔츠 접기, 상자 평평하게 펴기, 에어팟(AirPods) 케이스에 넣기 등 벤치마크 과제를 수행하는 로봇을 학습시켰다. 이는 텍스트 기반의 대규모 언어 모델(LLM)과 달리, 물리적 상호작용 데이터가 부족한 로봇 학습 분야의 병목 현상을 해결하기 위한 조치다.
데이터 수집 파이프라인과 3단계 계층 구조
XDOF의 작동 방식은 데이터의 가치와 수집 경로에 따라 세 가지 계층으로 구분되는 '데이터 피라미드' 구조를 따른다. 각 계층은 수집 도구와 데이터의 성격이 다르며, 모델의 성능에 직접적인 영향을 미친다.
첫 번째 계층은 실제 배포될 로봇에서 직접 수집하는 원격 조작(Teleoperation) 데이터다. 이는 가장 가치가 높은 데이터로 분류된다. 두 번째 계층은 GELLO와 같은 저비용 원격 조작 시스템을 통해 수집하는 일반적인 로봇 조작 데이터다. GELLO는 인간 운영자가 로봇 팔을 제어하여 학습 데이터를 생성할 수 있게 하는 장치로, 이미 로봇 공학 분야에서 데이터 수집 병목을 해결하는 도구로 활용되고 있다.
마지막 세 번째 계층은 인간이 일상 작업을 수행할 때 수집하는 '자기 중심적(Egocentric)' 데이터다. XDOF는 이를 위해 전용 웨어러블 센서를 구축할 계획이다. 특히 하드웨어 설계 단계에서의 카메라 선택이 핸드 트래킹(Hand-tracking) 알고리즘의 성능을 결정하며, 이는 곧 수집되는 데이터의 품질로 직결된다는 점을 설계 원칙으로 삼고 있다.
전체 파이프라인은 단순히 데이터 수집에 그치지 않고, 수집된 데이터를 정제(Cleaning)하고 주석을 다는 툴링 시스템을 포함한다. 이를 통해 로봇 학습자가 데이터를 입력하고 모델을 훈련시킨 뒤 다시 피드백을 받는 '자기 강화 피드백 루프'를 형성하는 구조다.
개발 및 운영 관점의 도입 영향
로봇 모델 개발자와 실무자가 주목해야 할 지점은 데이터 수집의 운영 비용과 물리적 제약이다. LLM이 공개된 웹 텍스트를 통해 학습한 것과 달리, 로봇 학습 데이터는 물리적 공간과 하드웨어 유지보수가 필수적이다. XDOF가 제시하는 외주 모델의 근거는 다음과 같은 운영 리소스의 규모에 있다.
우선 수십만 평방피트 규모의 창고 시설이 필요하며, 수백 대의 로봇을 동시에 운용해야 한다. 또한 각 로봇의 물리적 파라미터를 정밀하게 교정(Calibration)하고, 데이터를 생성할 운영자를 전문적으로 교육하는 과정이 수반된다. 이는 모델 알고리즘 개발에 집중해야 하는 AI 랩이 직접 수행하기에는 운영 부담이 큰 영역이다.
따라서 실무자는 로봇 모델의 성능 향상을 위해 '칩'이나 '모델 구조'의 개선보다 '데이터 피드백 루프'의 구축 속도를 우선순위에 두어야 한다. 특히 XDOF의 명칭이 유래된 '자유도(Degrees of Freedom, DOF)' 개념처럼, 로봇이 수행할 수 있는 독립적인 동작의 수를 확장하기 위해서는 해당 동작에 최적화된 고정밀 궤적 데이터의 확보가 필수적이다. 개발자는 이제 자체 인프라 구축 비용과 전문 데이터 파이프라인 도입을 통한 학습 속도 가속화 사이의 비용 효율성을 판단해야 하는 단계에 진입했다.
