4B 파라미터 규모의 엣지 전용 월드 모델 Cosmos 3 Edge

공장이나 물류 창고에서 움직이는 로봇이 장애물을 피하려면 데이터 센터의 응답을 기다릴 여유가 없다. 현장에서 즉각적으로 상황을 판단하고 움직여야 사고를 막고 효율을 높인다. 엔비디아는 이러한 엣지 환경에서 실시간 추론과 동작 생성이 가능한 40억(4B) 파라미터 규모의 오픈 월드 모델 Cosmos 3 Edge를 출시했다. 파라미터는 인공지능 모델이 학습하며 저장하는 매개변수로, 모델의 지식 용량과 연산량을 결정한다. 이번 모델은 허깅페이스(Hugging Face)의 Cosmos 3 저장소인 https://huggingface.co/nvidia/Cosmos3-Edge 를 통해 공개되었다.

Cosmos 3 Edge는 메모리가 제한된 시스템에서도 데이터 센터급 성능을 내도록 설계되었다. 지원 하드웨어는 NVIDIA RTX PRO GPU와 DGX, GeForce RTX 시리즈를 포함하며, 최근 발표된 Jetson T2000 및 T3000 모듈이 포함된 Jetson 라인업에서도 구동된다. 이 모델은 시각 언어 모델(VLM, 이미지와 텍스트를 동시에 이해하는 모델)로서 최상위 수준의 처리량과 정확도를 제공한다. 동시에 포스트 트레이닝을 거친 동작 모델(WAM, World Action Model)로 작동하여 로봇 제어에 최적화된 640x360 해상도의 관측치를 처리한다.

성능 지표에서는 4B 파라미터 규모의 모델 중 시각 분석 벤치마크인 VANTAGE-Bench에서 1위를 기록했다. 실제 실행 성능은 NVIDIA Jetson Thor 하드웨어에서 구체적으로 나타난다. 한 번의 추론당 32개의 동작을 생성하며, 초당 15회의 제어 주기인 15Hz 실시간 제어를 달성했다. 이는 로봇이 주변 환경의 변화를 실시간으로 인지하고 즉각적인 물리적 반응을 생성할 수 있는 수치다. 월드 모델은 환경이 시간에 따라 어떻게 변하는지 학습하여 객체와 움직임, 공간 관계 및 동작의 결과물을 표현한다. 예를 들어 로봇이 물건을 집을 때 단순히 물체를 인식하는 것을 넘어 집게의 움직임과 접촉 시 발생할 변화를 예측해 성공 확률이 높은 동작을 선택하게 한다.

개발자는 이 모델을 통해 엣지 기기에서 직접 시각적 결과물을 예측하거나 특정 결과를 만들기 위한 동작을 추론할 수 있다. 데이터 센터를 거치지 않고 기기 내부에서 추론용 자기회귀 타워와 생성용 확산 타워가 멀티모달 어텐션 층을 공유하는 구조를 통해 연산 효율을 높였다. 멀티모달 어텐션은 언어, 비디오, 오디오, 동작 정보를 하나의 공간에서 정렬하는 층을 의미한다. 결과적으로 RTX GPU나 Jetson T2000, T3000 같은 엣지 하드웨어에서도 데이터 센터급 성능의 시각 언어 모델과 동작 모델을 직접 배포할 수 있는 기술적 기준이 확보되었다.

추론과 생성을 분리한 듀얼 타워 트랜스포머 구조

생각하는 과정과 행동하는 과정은 서로 다르다. 물건을 집으려 할 때 사람은 먼저 대상의 위치를 파악한 뒤 손가락의 움직임을 결정한다. 엔비디아는 이러한 인지적 단계를 모델 구조에 그대로 반영해 두 개의 트랜스포머 타워(Transformer Tower, 데이터를 순차적으로 처리해 패턴을 찾는 신경망 구조)로 구성된 듀얼 타워 아키텍처를 도입했다. 이 구조는 상황을 분석하는 추론 단계와 실제 동작을 만들어내는 생성 단계를 분리해 처리함으로써 엣지 기기의 제한된 자원에서도 효율적인 연산을 수행한다.

모델의 한 축인 자기회귀 타워(Autoregressive Tower)는 추론 토큰(Reasoning Token, 텍스트나 상태 정보를 나타내는 최소 단위)을 생성한다. 로봇이 현재 장면에서 어떤 객체가 어디에 있는지 분석하고, 주어진 과업을 완수하기 위해 어떤 논리적 단계가 필요한지 판단하는 역할이다. 반대편의 확산 타워(Diffusion Tower)는 노이즈가 섞인 상태에서 점진적으로 데이터를 정제해 깨끗한 비디오와 동작 토큰을 생성한다. 이는 추론 타워가 내린 판단을 바탕으로 실제 물리적 움직임의 궤적이나 그 결과로 나타날 시각적 변화를 구체적인 픽셀과 벡터 데이터로 구현하는 과정이다. 이러한 분리는 고차원적인 추론 결과를 정밀한 물리적 실행으로 변환하는 효율적인 경로를 제공한다.

두 타워는 서로 다른 역할을 수행하지만 멀티모달 어텐션(Multimodal Attention, 언어, 비디오, 오디오, 동작 등 서로 다른 형태의 정보를 하나의 공간에서 정렬하는 층) 계층을 공유한다. 개별 타워가 가진 정규화 층과 다층 퍼셉트론(MLP, 비선형 변환을 수행하는 신경망 층)은 분리해 유지하면서도, 핵심적인 정보 통합 과정은 공유하는 방식이다. 이러한 공유 표현 방식 덕분에 모델은 언어와 비디오, 오디오와 동작 같은 서로 다른 양식의 데이터를 하나의 의미 공간에서 정렬할 수 있다. 결과적으로 모델은 현재의 세계 상태를 이해하고, 가능한 미래를 시뮬레이션하며, 그 미래를 실제 동작으로 연결하는 통합적인 인지 능력을 갖춘다. 모델은 이 구조를 통해 최종 출력을 내놓기 전 장면 전체에 대해 먼저 추론하는 과정을 거친다.

정보의 특성에 따라 어텐션 패턴(Attention Pattern, 데이터 간의 연관성을 계산하는 방식)을 다르게 적용해 정밀도를 높였다. 언어 데이터에는 오직 이전 토큰들만 참조하여 다음 단어를 예측하는 인과적 어텐션(Causal Attention)을 사용해 문맥의 일관성을 유지한다. 반면 확산 토큰은 가용한 전체 컨텍스트를 더 광범위하게 참조하는 방식을 사용하여, 끊김 없는 비디오 예측과 정교한 동작 생성을 지원한다. 결과적으로 이 구조는 무엇이 일어나고 있는지, 다음에 무엇이 일어날지, 그리고 특정 동작이 결과에 어떤 영향을 줄지를 하나의 공통된 표현 체계 안에서 처리한다.

기하학적 벡터 기반의 공통 동작 표현과 추론 모드

로봇 팔과 자율주행 차량의 제어 방식을 각각 따로 학습시켜야 했던 개발 팀은 모델 관리 비용과 데이터 파편화라는 큰 손실을 감수해야 했다. 엔비디아는 Cosmos 3에서 서로 다른 형태의 로봇 동작을 하나의 공통된 기하학적 벡터로 매핑하는 방식을 도입했다. 기하학적 벡터는 공간상의 위치와 움직임을 숫자로 표현한 단순화된 데이터 묶음이다. 차량은 자차의 포즈와 이동 경로로 동작을 정의하고 로봇 팔은 말단 장치의 위치로 정의하지만, Cosmos 3는 이를 통합된 규격으로 변환한다. 이 벡터에는 위치, 방향, 속도뿐 아니라 집게가 물건을 잡고 있는지를 나타내는 파지 상태(Grasp State) 정보가 포함된다. 덕분에 모델은 화면 속 픽셀의 변화를 물리적인 움직임이나 공간적 관계, 제어 입력값과 직접 연결해 처리한다.

이러한 공통 표현 방식은 시각적 결과와 동작 사이의 인과관계를 학습하는 세 가지 추론 모드로 이어진다. 첫 번째 모드는 현재 상태를 입력해 로봇이 취해야 할 동작과 그로 인해 나타날 시각적 결과를 동시에 예측하는 방식이다. 두 번째 모드는 현재 상태에 특정 동작을 추가로 입력하여 그 결과로 어떤 시각적 변화가 일어날지 예측하는 시뮬레이션 과정이다. 마지막 세 번째 모드는 현재 상태와 최종적으로 원하는 시각적 결과물을 입력하면 이를 달성하기 위해 필요한 동작을 역으로 추론하는 방식이다. 동작 정보가 모델 내에서 양방향으로 흐르기 때문에 개발자는 하나의 모델로 원인과 결과, 그리고 구체적인 제어 정책을 모두 학습시킬 수 있다.

실제 로봇 제어 환경에서는 고해상도 영상의 화질보다 엣지 기기의 빠른 반응 속도가 더 중요하다. Cosmos 3 Edge는 로봇 제어 최적화 해상도인 640x360 관측치를 사용해 연산 부하를 줄이고 추론 속도를 높였다. 이는 데이터 센터급의 고해상도 분석 대신 현장에서 즉각적인 판단이 가능하도록 설계된 수치다. 이렇게 생성된 비디오는 단순한 시각적 예측을 넘어 동작과 제어, 인과관계가 반영된 실제 훈련 데이터로 활용된다. 개발자는 이를 통해 로봇이 환경을 어떻게 변화시키는지 가상으로 시뮬레이션하고, 실제 하드웨어에 배포하기 전 동작의 정확도를 검증하는 객관적인 판단 기준으로 삼는다.

DROID 정책 모델과 25배 빠른 4단계 증류 기술

로봇 팔의 동작 하나를 가르치기 위해 수만 번의 반복 학습 데이터를 수집하던 개발 팀은 이제 이미 학습된 기본 모델에서 시작한다. 엔비디아는 집기-놓기(Pick-and-place, 물건을 집어 지정된 위치에 두는 작업) 작업에 최적화된 포스트 트레이닝 모델인 Cosmos 3 Edge Policy DROID와 관련 스크립트를 공개했다. 개발자는 H100 소규모 클러스터나 NVIDIA DGX Station을 사용하여 타겟 작업에 맞춰 모델을 효율적으로 파인튜닝(Fine-tuning, 이미 학습된 모델을 특정 데이터셋으로 추가 학습시켜 최적화하는 과정)할 수 있다. 이는 로봇이 새로운 환경에서 물건을 인식하고 옮기는 기본 동작을 익히는 데 드는 시간과 비용을 직접적으로 줄여준다. 특정 작업에 특화된 가중치를 미리 제공함으로써 실무 도입의 진입 장벽을 낮췄다.

고해상도 영상을 생성할 때 발생하는 연산 지연은 실시간 제어의 가장 큰 걸림돌이다. 이를 해결하기 위해 64B 모델을 대상으로 한 Cosmos 3 Super 4-Step 증류 체크포인트를 제공한다. 증류(Distillation)는 거대 모델이 가진 복잡한 지식을 더 작고 효율적인 모델에 전달하여 성능을 유지하며 크기를 줄이는 기법이다. 이 기술은 이미지와 비디오를 생성할 때 필수적인 확산 단계(Denoising Steps, 무작위 노이즈에서 시작해 단계적으로 노이즈를 제거하며 결과물을 만드는 과정)를 기존 35~50단계에서 4단계로 대폭 축소했다. 그 결과 영상의 품질과 정밀도는 유지하면서 추론 속도를 최대 25배 높였다. 데이터 센터급의 거대 모델 성능을 엣지 환경의 속도로 구현해 실시간 시뮬레이션 가능성을 확보했다.

개발자는 공개된 레퍼런스 체크포인트와 학습 레시피(Training Recipe, 모델 학습을 위한 하이퍼파라미터와 설정값의 조합)를 통해 자신의 애플리케이션에 맞게 모델을 최적화할 수 있다. 오픈 트레이닝 스크립트를 활용하면 맞춤형 로봇 정책을 설계하거나, 특정 도메인에 맞춘 빠른 이미지 및 비디오 생성 모델을 직접 구축하는 것이 가능하다. 관련 모델과 스크립트는 Hugging Face Cosmos 3 컬렉션에서 확인할 수 있다. 기초 모델부터 최적화 도구까지 일괄 제공하여 개발자가 인프라 구축보다 서비스 구현에 집중할 수 있는 환경을 만들었다. 모델의 크기와 속도 사이의 선택지를 넓혀 하드웨어 제약이 심한 현장에서도 고성능 시각 언어 모델과 동작 모델을 배포할 수 있는 기준을 제시했다.

물리 AI(Physical AI) 구현을 위한 오픈 프레임워크 전략

현장 엔지니어가 범용 모델을 도입했다가 정작 공장 내부의 특수한 조명이나 생소한 부품 앞에서 로봇이 멈춰 서는 일은 흔하다. 이를 해결하려면 모델이 특정 환경에 익숙해지도록 만드는 도메인 적응(Domain-adaptation, 사전 학습된 모델을 특정 분야의 데이터로 추가 학습시켜 성능을 높이는 과정)이 필수적이다. 엔비디아는 Cosmos 3를 오픈 월드 파운데이션 모델 플랫폼으로 정의하고 개발자가 직접 도메인 적응을 수행할 수 있는 환경을 제공한다. 개발자는 고품질의 도메인 특화 데이터를 통해 모델을 포스트 트레이닝(Post-training, 기본 모델 학습 후 특정 목적에 맞게 미세 조정하는 단계)하여 산업 현장에 최적화된 성능을 끌어낼 수 있다. 처음부터 모델을 만드는 대신 검증된 파운데이션 모델에서 시작해 필요한 부분만 수정하므로 개발 기간과 비용을 크게 줄이는 이득을 얻는다.

데이터 센터의 응답을 기다리는 찰나의 지연 시간은 실제 물리 환경에서 기기 충돌이나 작업 실패라는 치명적인 결과로 이어진다. Cosmos 3 Edge는 센서와 물리적으로 인접한 온디바이스(On-device, 외부 서버 없이 기기 자체에서 연산을 처리하는 방식) 배포를 지원하여 이 문제를 해결한다. 연산 경로를 최대한 단축해 지연 시간을 최소화함으로써 로봇이 실시간으로 주변 상황을 판단하고 즉각적으로 동작하게 만든다. 이는 네트워크 상태에 구애받지 않고 일정한 응답 속도를 유지해야 하는 물류 창고나 정밀 제조 라인에서 실무적인 안정성을 확보하는 핵심 기준이 된다. 센서 데이터가 입력되는 즉시 모델이 추론하고 동작을 생성하는 구조는 물리 AI의 실용성을 결정짓는 요소다.

모델의 지능만큼 중요한 것이 실제 서비스에 올릴 때의 추론 속도와 하드웨어 자원 효율이다. 엔비디아는 vLLM(대규모 언어 모델의 추론 속도를 높이기 위해 메모리 관리를 최적화하는 오픈소스 라이브러리)과 같은 오픈 추론 프레임워크 최적화를 진행할 계획이다. 추론 효율을 높이면 동일한 하드웨어에서도 더 많은 요청을 처리하거나 더 낮은 전력으로 모델을 구동할 수 있어 운영 비용이 절감된다. 개발자는 엔비디아가 제공하는 최적화 체크포인트를 활용해 배포 단계에서 발생하는 컴퓨팅 부하를 줄이고 실행 속도를 높이는 기술적 근거를 확보한다. 오픈 프레임워크를 통한 최적화는 특정 벤더에 종속되지 않고 다양한 엣지 환경에서 모델을 유연하게 구동하게 돕는다.

단순한 동작 생성을 넘어 더 복잡한 물리적 상호작용을 구현하는 기능 업데이트도 준비 중이다. 향후 대화형 월드 생성과 주행 시나리오 시뮬레이션, 그리고 로보틱스 정책 개선 기능이 순차적으로 추가될 예정이다. 이는 로봇이 단순히 정해진 명령을 수행하는 수준을 넘어, 가상 환경에서 다양한 돌발 시나리오를 미리 시뮬레이션하고 최적의 행동 지침을 스스로 학습하는 구조로 확장됨을 뜻한다. 물리 AI의 적용 범위가 단순 반복 작업에서 복잡한 판단이 필요한 자율 주행과 고정밀 제어 영역으로 넓어지는 경로를 제시한다. 개발자는 이러한 업데이트를 통해 실제 환경에 배포하기 전 모델의 안전성과 정확도를 가상 세계에서 먼저 검증할 수 있다.

데이터 센터의 응답을 기다리지 않고 현장에서 즉각 반응하는 로봇은 더 이상 가상의 설정이 아니다. Jetson T2000이나 T3000 같은 엣지 하드웨어에 Cosmos 3 Edge를 배포함으로써 데이터 센터급 VLM과 WAM의 성능을 현장에서 직접 구현하는 경로가 열렸다.

물리 AI의 실무적 완성도는 모델의 파라미터 규모와 추론 속도 사이의 최적점을 찾는 능력에서 결정된다. 개발자는 이제 RTX GPU와 Jetson 시리즈의 하드웨어 제약 조건에 맞춰 모델을 선택하고 즉시 배포할 수 있는 실질적인 판단 근거를 갖게 되었다. 보유한 하드웨어 사양을 확인하고 Cosmos 3 Edge의 배포 기준을 적용해 보길 권한다.