발표에서 확인된 핵심 사실
Google이 실시간 공간 추론과 다단계 작업 계획을 수행하는 고수준 두뇌 모델인 Gemini Robotics ER 2를 출시했다. 이 모델의 등장은 로봇 개발자가 단순한 명령-응답 구조를 넘어 로봇이 스스로 상황을 판단하고 계획을 세우는 물리적 AI 에이전트를 구축하는 방식으로 개발 경로를 바꾼다. 로봇은 실시간 비디오 피드를 통해 자신의 작업 진척도를 추적하고 실행 과정에서 발생하는 오류를 실시간으로 수정하며 물리 세계에서 더 유용한 역할을 수행한다. 이는 로봇이 단순히 입력된 코드를 실행하는 기계에서 환경과 상호작용하는 지능형 개체로 진화했음을 의미한다.
Gemini Robotics ER 2는 체화된 추론(Embodied Reasoning, 물리적 환경을 직접 인식하고 그 안에서 논리적으로 판단하는 능력) 모델로 설계되었다. 이 모델은 로봇의 고수준 두뇌(High-level brain, 전체적인 목표를 설정하고 이를 달성하기 위한 세부 단계를 설계하는 제어부) 역할을 하며 공간 추론과 다단계 작업 계획을 전담한다. 로봇은 이 모델을 통해 인간과 채팅으로 소통하고 물리적 세계의 구조와 특성을 이해하며 작업을 수행한다. 또한 Google Search와 같은 외부 도구나 개발자가 직접 정의한 함수를 호출하여 필요한 정보를 실시간으로 찾아내고 이를 작업 계획에 즉시 반영하는 기능을 갖췄다.
개발자는 Gemini API와 Google AI Studio 그리고 Gemini Enterprise Agent Platform을 통해 이 모델에 접근할 수 있다. Gemini Enterprise Agent Platform의 경우 현재 프라이빗 프리뷰(Private Preview, 정식 출시 전 특정 대상에게만 기능을 공개하는 사전 체험 단계) 형태로 제공되어 기업용 에이전트 구축을 지원한다. 이러한 제공 범위는 개발자가 자신의 물리적 AI 에이전트를 직접 구축하고 다양한 환경에서 테스트할 수 있는 경로를 제공한다. 특히 Gemini Robotics ER 2는 로봇이 현재의 물리적 동작을 수행하는 동시에 다음에 이어질 행동이 무엇인지 미리 생각하고 준비할 수 있는 병렬적 사고 구조를 구현했다.
모델의 내부 작동 방식은 고수준의 추론 계획과 하위 수준의 물리적 실행을 엄격히 분리하는 구조를 취한다. Gemini Robotics ER 2가 전체적인 상황을 분석하고 추론하여 계획을 세우면, 실제 관절이나 구동기를 움직이는 모터 실행(Motor execution) 단계는 하위 VLA(Vision-Language-Action, 시각-언어-행동) 모델로 전달되어 처리된다. 이러한 계층적 오케스트레이션 구조 덕분에 로봇은 복잡한 환경에서도 상위 목표를 유지하며 정밀한 동작을 수행할 수 있다. 나아가 서로 다른 기종의 로봇들이 협업하여 하나의 작업을 완수하는 다중 로봇 협업 기능을 통해 물리적 세계에서의 작업 효율을 극대화했다.
비디오 이해를 통한 작업 진척도 및 모먼트 파인딩
Gemini Robotics ER 2는 진척도 분류 작업에서 57.4%의 정확도를 기록했다. 진척도 분류는 로봇이 수행 중인 과업의 완료 지점까지 어느 정도 도달했는지 실시간으로 추적하는 능력이다. 시스템은 입력되는 비디오 피드의 각 프레임을 0-20%, 20-40%, 40-60%, 60-80%, 80-100%라는 다섯 가지 구간으로 나누어 할당한다. 전구 조이기나 쓰레기 봉투 묶기처럼 단계가 복잡한 작업의 완성도를 수치로 검증하여 명세서에 정의된 기준에 부합하는지 확인하는 방식이다. 로봇은 현재 상태가 어느 구간에 속하는지 파악해 실시간 상황 인지 능력을 확보한다. 이를 통해 특정 단계에서 오류가 발생했을 때 전체 공정을 처음부터 다시 시작하는 낭비 없이, 실패한 지점부터 동작을 수정하거나 즉시 재시도하는 유연한 대응이 가능하다.
모먼트 파인딩 작업에서는 91.3%의 정확도와 0.96초의 평균 절대 거리를 달성했다. 모먼트 파인딩은 비디오 스트림 내에서 핵심 이벤트가 발생하는 정확한 프레임을 찾아내는 기술이다. 여기서 평균 절대 거리(Mean Absolute Distance)는 모델이 예측한 이벤트 시점과 실제 발생 시점 사이의 시간 차이를 절대값으로 계산해 평균 낸 수치다. 0.96초라는 수치는 물리적 세계에서 발생하는 찰나의 동작을 거의 실시간으로 포착할 수 있음을 뜻한다. 이는 연산 규모가 훨씬 큰 대형 모델들과 대등한 수준의 정밀도를 보여주며, 작업의 종료 시점을 명확히 구분하는 근거가 된다.
이러한 정밀도를 유지하면서도 연산 비용은 대폭 낮추고 실행 속도는 4배 높였다. 물리 로봇이 실제 환경에서 안전하게 움직이려면 명령과 반응 사이의 간극이 극도로 짧아야 한다. Gemini Robotics ER 2는 1초 미만의 지연 시간(sub-second latency)을 구현해 하드웨어 제어의 즉각성을 확보했다. 대형 모델이 가진 높은 추론 비용 문제를 해결하면서도 작업 종료 시점을 정확히 판별하는 능력을 유지한 구조다. 로봇은 연속적인 비디오 피드를 통해 작업이 명세서대로 완료되었는지 확인하고, 모먼트 파인딩으로 포착한 정확한 종료 시점에 맞춰 다음 과업으로 전환하는 판단을 내린다.
VLA 오케스트레이션과 Gemini Live API 통합
대형 모델 대비 4배 빠른 실행 속도와 1초 미만의 서브 세컨드(sub-second) 지연 시간을 통해 로봇의 멈춤 없는 동작을 구현한다. 기존의 로봇 제어 시스템은 명령을 내린 뒤 모델이 다음 단계의 행동을 결정하기까지 발생하는 일시 정지 현상이 잦았다. 이번 통합은 이러한 정지 구간을 제거하여 물리 세계의 실시간 속도에 맞춘 유연한 움직임을 가능하게 한다. 지연 시간을 최소화함으로써 로봇이 환경 변화에 즉각적으로 반응하며 자연스럽게 움직이는 능력을 확보했다.
동작의 핵심은 VLA(Vision-Language-Action, 시각-언어-행동) 모델과 상위 계획 모델의 역할 분담이다. VLA 모델은 실제 모터의 세밀한 실행을 담당하는 하위 수준의 제어 모델을 의미한다. ER 2는 상위 수준에서 전체 작업 계획을 세우고 이를 VLA 모델이나 내비게이션 API(위치 이동 인터페이스)에 실행 명령으로 전달하는 오케스트레이션(orchestration, 여러 구성 요소를 조율하여 실행하는 체계) 구조를 취한다. 개발자는 VLA 모델이나 내비게이션 API를 도구로 선언하고 멀티모달 비디오, 오디오, 텍스트 데이터를 모델에 직접 스트리밍하여 제어할 수 있다. 이러한 구조는 상위 모델이 모든 물리 제어를 직접 수행할 때 발생하는 부하를 줄이고 실행 효율을 높인다.
저지연 연동을 위해 Gemini Live API의 양방향 스트리밍 엔드포인트를 통합했다. 양방향 스트리밍 엔드포인트는 데이터의 송수신이 동시에 일어나는 연결 지점을 의미하며, 지연 시간에 민감한 작업에 최적화되어 있다. 이를 통해 ER 2는 하위 제어 모델과 실시간으로 통신하며 복잡한 다단계 작업을 끊김 없이 수행한다. 고수준의 추론 결과가 즉각적으로 물리적 행동으로 이어지도록 설계하여 로봇 동작의 연속성을 극대화했다. 이는 모델이 생각을 마친 후 행동하는 방식이 아니라, 사고와 실행이 동시에 맞물려 돌아가는 구조를 지향한다.
실제 검증을 위해 Boston Dynamics의 Spot 로봇 API를 오케스트레이션하여 자연어 명령으로 간식을 가져오는 시연을 수행했다. ER 2가 Spot의 내비게이션과 매니퓰레이터(manipulator, 로봇 팔) 이동 API를 조율해 복합적인 작업을 수행하는 방식이다. 사용자가 자연어로 명령을 내리면 ER 2가 이를 해석해 Spot의 개별 API 호출 순서를 결정하고 실행한다. 로봇은 정지 동작 없이 목표 지점으로 이동해 물건을 집어 오는 일련의 과정을 매끄럽게 연결한다. 관련 구현 예제는 다음 명령어로 확인 가능하다.
git clone https://github.com/google-deepmind/gemini-robotics-er2-examples멀티 로봇 협업 및 안전 벤치마크
단일 로봇은 모든 작업에 적합할 수 없으며 바퀴형 로버는 실내에, 휴머노이드 로봇은 험지에 특화된다. Gemini Robotics ER 2는 이러한 하드웨어 특성 차이를 극복하기 위해 멀티 로봇 협업 기능을 구현했다. 서로 다른 기종의 로봇이 공유 의미론적 이해(Shared Semantic Understanding, 기종이 달라도 동일한 의미로 상황을 파악하고 소통하는 방식)를 통해 작업을 인계하며 단일 로봇이 수행할 수 없는 복잡한 워크플로우를 공동으로 처리한다. 실제 구현 사례로 Apptronik의 Apollo 2와 Franka F3 Duo 로봇 간의 협업 체계를 구축했다.
모델의 안전성은 Safety Instruction Following(안전 지침 준수, 추론 작업 중 물리적 제약을 지키는 능력)과 Human Proximity(인간 근접도, 인간을 감지하는 공간 인식 능력) 벤치마크로 검증했다. Gemini Robotics ER 2는 이전 버전인 ER 1.6 및 다른 프론티어 모델 대비 해당 지표에서 더 높은 성능을 기록했다. 이는 모델이 물리적 제약을 더 정확하게 인식하고 주변 공간에 있는 인간을 더 정밀하게 감지한다는 사실을 수치로 증명한 결과다.
구체적인 안전 동작으로 휴머노이드 로봇은 사람이 근처에 있을 때 즉시 동작을 정지시키는 기능을 수행한다. 이후 센서 데이터가 구역 내에 사람이 없음을 식별하면 자동으로 작업을 재개하는 루프를 가진다. 모델이 실시간 비디오 피드를 통해 환경을 감시하고, 안전 거리 확보라는 제약 조건을 최우선으로 판단하여 모터 제어 명령을 중단하거나 재개하는 방식이다.
물리적 에이전트의 안전 기준을 강화하기 위해 VLA(Vision-Language-Action, 시각-언어-행동) 오케스트레이터 전용 벤치마크를 새롭게 도입했다. 이 벤치마크는 모델이 안전 제약 조건을 강제하고 환경을 모니터링하며 물리적 실행 가능성을 평가하는 능력을 측정한다. 특히 모델이 스스로 판단하기 어려운 모호한 상황에서 인간에게 명확한 확인을 요청하는 인터랙션 능력까지 평가 범위에 포함했다. 이는 상위 계획을 세우는 오케스트레이터가 하위 실행 모델의 위험성을 사전에 필터링하는 안전 계층으로 작동함을 의미한다. 자세한 내용은 안전 기술 보고서(safety technical report)에서 확인할 수 있다.
한국 AI 실무자를 위한 구현 가이드 및 관찰 신호
에이전트 기반 물리 AI 시스템으로 전환하려면 VLA(Vision-Language-Action, 시각-언어-행동) 모델이나 내비게이션 API를 도구(Tool)로 선언하는 구조적 변경이 필요하다. 기존의 단일 작업 수행 방식은 정해진 시퀀스를 따랐으나, 에이전트 방식은 멀티모달 비디오, 오디오, 텍스트 데이터를 모델에 실시간으로 스트리밍하여 환경 변화를 즉각 반영한다. 이러한 도구 오케스트레이션(Tool Orchestration, 여러 도구를 조율해 작업을 수행하는 과정) 방식은 실제 VLA, 시뮬레이션 VLA, 인간 원격 제어라는 세 가지 제어 모드 모두에서 이전 버전인 ER 1.6보다 일관되게 높은 성능을 기록했다. 이는 하드웨어 제어권을 모델이 직접 갖는 대신 API 형태로 호출함으로써, 다양한 로봇 하드웨어에 범용적으로 적용할 수 있는 운영 효율성을 확보했음을 의미한다.
구현 후 시스템의 신뢰도를 측정하는 정량적 기준은 성공 감지(Success Detection)와 ERQA(질의응답) 정확도에 둔다. 성공 감지는 이미지나 비디오 프레임을 분석해 로봇이 목표 작업을 완수했는지 스스로 판단하는 기능으로, 작업 완료 시점을 정확히 짚어내는 모먼트 파인딩 능력과 직결된다. ERQA는 현재 로봇의 상태나 주변 환경에 대한 질문에 모델이 정확히 답하는 능력을 측정하여 내부 추론 과정의 논리적 정합성을 검증한다. Gemini Robotics ER 2는 이 두 지표를 포함한 핵심 역량 전반에서 가장 높은 정확도를 달성했으며, 특히 도구 사용 중 발생하는 예외 상황에서 성공 여부를 판별하고 수정 방향을 제시하는 능력이 강화되었다.
실제 산업 현장 도입 전에는 Google이 제시한 안전 VLA 오케스트레이터 벤치마크를 통해 물리적 타당성을 엄격히 평가해야 한다. 이 벤치마크는 로봇의 행동이 물리 법칙에 어긋나지 않는지 확인하고, 판단 근거가 불충분한 불확실한 상황에서 무리하게 동작하는 대신 인간에게 확인을 요청하는 능력을 중점적으로 다룬다. 세부적인 안전 기준과 평가 방법, 그리고 엣지 케이스에 대한 대응 리포트는 공식 안전 기술 리포트(Safety Technical Report)에서 확인할 수 있다. 단순한 작업 성공률 수치를 넘어, 위험 상황에서 즉각 멈추거나 적절한 시점에 개입을 요청하는 제어 능력이 안전한 물리 AI 시스템 운영의 핵심 관찰 신호가 된다.
로봇이 '멈춰서 생각하는' 지연 시간 없이 실시간으로 작업을 수행하며, 성공 감지 지표를 통해 스스로 오류를 수정할 수 있는 상태가 되었을 때 비로소 단일 작업 로봇에서 자율 에이전트 시스템으로 전환해야 한다.
