신규 데이터 모달리티와 수집 인프라

물리 AI의 학습 병목을 해결하기 위해 도입된 새로운 데이터 모달리티는 뇌파와 근전도 신호다. Encord는 데이터 주석 및 모델 평가 도구에서 나아가, 로봇 학습에 필요한 실세계 물리 데이터를 직접 제조하는 공정을 구축했다. 이를 위해 Zander Labs가 개발한 뇌파 측정 헤드셋을 도입해 작업자의 뇌 활동을 측정하며, 전완근에 부착하는 센서를 통해 근육의 전기 신호를 수집한다.

데이터 수집을 위한 물리적 환경으로는 '리더-팔로워(leader-follower)' 장치가 활용된다. 인간 운영자가 직접 제어하는 로봇 팔(리더)의 움직임을 다른 로봇 팔(팔로워)이 그대로 모방하게 하여, 커피 따르기나 포커 칩 쌓기 같은 정밀 조작 데이터를 생성한다. 또한 서버 뒷면의 이더넷 케이블을 연결하고 분리하는 작업처럼 데이터 센터 자동화에 필요한 고정밀 조작 데이터를 확보하는 데 집중하고 있다.

뇌파·근전도 기반의 작동 방식과 데이터 가치

뇌파 센서를 통해 수집되는 데이터는 작업자의 오류, 의도, 놀람과 같은 심리적 상태를 추론하는 데 사용된다. Zander Labs의 신경과학자들에 따르면, 특정 작업 중 발생하는 뇌 활동의 양을 측정함으로써 모델 빌더가 언제 '고부하 모델(highest-effort models)'을 배치해야 하는지에 대한 단서를 제공할 수 있다. 이는 단순한 동작 모방을 넘어, 인간이 인지하는 작업의 난이도와 임계점을 모델에 학습시키는 기제로 작동한다.

전완근 센서는 비디오 데이터의 고질적인 문제인 '가려짐(occlusion)' 현상을 해결한다. 인간의 손이 물체를 조작할 때 카메라 각도에 따라 손가락의 세부 움직임이 보이지 않는 경우가 많으나, 근육의 전기 신호를 활용하면 손의 위치와 동작을 3D로 묘사할 수 있어 모델의 이해도를 높인다. 여기에 "오른손으로 볼트를 조임"과 같은 물리적 묘사를 덧붙인 고밀도 주석(dense annotation)을 결합해 LLM 기반 모델이 상황을 정확히 파악하도록 돕는다.

데이터의 효율성 측면에서 고밀도 주석 데이터는 일반적인 에고 데이터(ego data, 1인칭 시점 영상)보다 학습 가치가 100배 높은 것으로 평가된다. 다만 이를 생산하는 데 드는 비용은 일반 데이터보다 20배 더 소요된다. Encord는 이 비용 증가분보다 성능 향상 폭이 크다는 점을 근거로 고밀도 데이터 제조 방식을 채택하고 있다.

데이터 제조 경제학과 도입 제약

물리 AI 학습의 가장 큰 제약은 데이터의 희소성이다. LLM이 인터넷상의 방대한 텍스트를 긁어모아(scraping) 학습한 것과 달리, 물리적 조작 데이터는 자연적으로 존재하지 않아 직접 제조해야 한다. Encord의 분석에 따르면, 물리적 조작 능력의 임계점을 돌파하기 위해서는 유튜브 비디오 코퍼스의 약 5배 규모에 달하는 데이터셋이 필요하다. 이는 데이터 수집이 단순한 연구 과제가 아니라 대규모 자본이 투입되는 제조 비즈니스로 변모했음을 의미한다.

하드웨어의 물리적 한계도 여전한 제약 사항이다. 로봇의 집게(pincer)는 인간 손가락의 정교함이나 팔의 자유도(degrees of freedom)를 완전히 대체하지 못하며, 이는 데이터의 양과 상관없이 물리적 출력 단계에서 성능 병목을 일으킨다. 결국 물리 AI의 성능은 모델 아키텍처보다 얼마나 고충실도(high-fidelity)의 데이터를 효율적으로 제조하느냐에 달려 있다.

실무자는 물리 AI 도입 시 데이터 확보 전략을 '수집'이 아닌 '제조' 관점에서 재설계해야 한다. 특히 단순 영상 데이터보다 비용이 20배 높더라도, 뇌파나 근전도 같은 다중 모달리티가 결합된 고밀도 주석 데이터를 확보하는 것이 모델의 추론 효율과 조작 정밀도를 결정하는 핵심 지표가 된다.