옴니모달 통합 모델 Cosmos 3와 3단계 모델 라인업

피지컬 AI 파이프라인은 데이터 생성, 사후 학습, 평가의 각 단계마다 별도의 GPU 용량을 할당하는 방식으로 운영된다. 이 방식은 합성 데이터를 생성하는 노드, 사후 학습을 진행하는 노드, 성능을 평가하는 노드를 각각 구축하고 각 단계가 끝날 때마다 인프라를 세우고 허무는 생명주기를 따로 관리해야 하므로 자원 효율이 낮다. Cosmos 3는 이러한 분리된 인프라 구축 필요성을 없앴다. Cosmos 3는 비디오, 이미지, 액션, 사운드를 단일 토큰 스트림, 즉 모델이 처리하는 최소 단위의 연속된 흐름으로 처리하는 옴니모달 월드 파운데이션 모델이다. 하나의 모델 제품군이 생성과 학습, 평가를 모두 수행하므로 각 단계의 작업은 단일 클러스터 제어 평면 아래의 하나의 GPU 노드 풀에서 시분할 방식으로 스케줄링되어 운영된다.

NVIDIA는 Cosmos 3를 리눅스 재단의 OpenMDW-1.1 라이선스로 공개하여 기술적 접근성을 높였다. 이 모델은 트랜스포머 트렁크, 즉 모델의 핵심 연산을 담당하는 공통 신경망 구조를 세 가지 서로 다른 모드로 동작시킨다. 합성 비디오를 생성하는 전방 역학 모델, 액션 라벨을 부여하는 역방향 역학 모델, 그리고 실제 로봇에 배포 가능한 액션 정책 모델이 이에 해당한다. 기존에는 데이터 성격에 따라 서로 다른 모델을 구축하고 관리해야 했으나, Cosmos 3는 하나의 통합 모델 내에서 동작 모드만 변경하여 처리한다. 이를 통해 물리적 AI 학습 과정에서 발생하는 데이터와 모델의 파편화 문제를 해결하고 파이프라인의 단순화를 구현했다.

모델 라인업은 연산 규모와 목적에 따라 세 가지 티어로 세분화된다. 가장 높은 성능을 내는 Cosmos3-Super는 64B 파라미터를 가지며 32B 규모의 Qwen3-VL 백본, 즉 모델의 기본 뼈대가 되는 사전 학습된 신경망을 기반으로 구축되었다. 중간 규모인 Cosmos3-Nano는 16B 파라미터를 가지며 8B Qwen3-VL 백본을 사용한다. 이러한 계층적 구조는 개발자가 보유한 GPU 자원 상황이나 요구되는 추론 정밀도에 따라 적절한 모델을 선택할 수 있게 한다. 특히 Super 모델을 교사 모델로 사용해 데이터를 생성하고 Nano 모델을 학생 모델로 학습시키는 식의 효율적인 모델 팩토리 구성이 가능하다.

온디바이스 배포를 위해 설계된 Cosmos3-Edge는 4B 파라미터 규모로 Jetson Thor 및 Orin과 같은 임베디드 하드웨어에서 최적의 성능을 내도록 제작되었다. Edge 모델은 약 2B 규모의 백본을 기반으로 하며, Nano나 Super 모델과 달리 Qwen3-VL에서 초기화되지 않고 처음부터 새로 학습된 별도의 가중치 계보를 가진다. 따라서 Nano 모델의 체크포인트를 단순히 축소하여 사용하는 것이 아니라, 타겟 하드웨어의 제약 조건에 맞춰 직접 사후 학습을 진행하는 경로를 따른다. 한편 정책 모델에 특화된 Cosmos3-Nano-Policy-DROID 변형 모델은 15Hz의 제어 업데이트 속도와 32스텝의 호라이즌, 즉 모델이 한 번에 예측하는 미래 행동의 범위를 지원한다.

AR-DM 통합 구조와 세 가지 동작 모드

전체 루프의 유효한 파이프라인 진척도를 나타내는 GPU 굿풋(GPU Goodput, 예약된 GPU 시간당 실제 처리량)이 운영 비용을 결정하는 핵심 지표로 작동한다. 단계별 GPU 확보 방식은 가용성과 리드 타임의 변동성을 높이며, 확보한 용량이 데이터 저장소와 다른 가용 영역이나 리전에 배치될 위험이 있다. 이를 방지하기 위해 전체 루프에 대해 용량을 예약하거나 유연한 훈련 계획을 수립하여 리소스 교체 비용을 줄인다. 이러한 인프라 효율성을 바탕으로 모델은 단일 트랜스포머 트렁크 내에서 노이즈 토큰의 설정 방식만으로 생성, 라벨링, 정책 실행의 세 가지 역할을 수행한다. 텍스트와 비전 토큰을 읽어 이해하는 AR(Autoregressive, 자기회귀) 서브시퀀스와 비디오, 오디오, 액션 토큰을 생성하는 DM(Diffusion Model, 확산 모델) 서브시퀀스가 공유 리즈너(Reasoner)와 제너레이터(Generator) 타워를 통해 통합 처리된다. 이때 DM 쿼리는 AR과 DM 키 모두를 참조하는 전체 어텐션(Full Attention) 방식을 사용하지만, AR 쿼리는 인과적(Causal) 구조를 유지해 확산 토큰을 보지 않는다. 이러한 비대칭적 구조는 모델이 입력 정보를 정확히 이해한 상태에서만 생성물을 만들어내도록 강제한다.

미드트레인된 베이스 체크포인트는 어떤 토큰을 노이즈로 설정해 시작할지를 결정함으로써 세 가지 동작 모드를 전환한다. 전방 역학(Forward-dynamics) 모드에서는 액션과 현재 프레임을 고정된 값으로 두고, 그 결과로 나타날 미래 비디오를 디노이징(Denoising, 노이즈 제거를 통한 데이터 복원) 방식으로 생성한다. 이는 로봇이 특정 행동을 했을 때 환경이 어떻게 변할지 예측하는 시뮬레이터 역할을 수행한다. 반대로 역방향 역학(Inverse-dynamics) 모드는 비디오 데이터를 고정한 상태에서 해당 움직임을 구현하기 위해 필요한 액션 토큰을 디노이징하여 추출한다. 결과물인 비디오에서 원인인 행동을 찾아내는 이 과정은 대규모 비디오 데이터셋에 자동으로 액션 라벨을 붙이는 효율적인 라벨링 도구로 활용된다.

정책(Policy) 모드는 첫 번째 프레임만 고정한 채 로봇이 실제로 수행해야 할 최적의 액션을 디노이징하여 생성한다. 앞선 두 모드가 데이터 생성과 학습용 라벨링이라는 준비 단계에 집중했다면, 정책 모드는 실제 물리 환경에서 로봇을 움직이는 실행 단계에 해당한다. 모델은 현재 상태에서 목표 상태에 도달하기 위한 액션 시퀀스를 확률적으로 생성하며, 이를 통해 복잡한 조작 과제를 수행한다. 사후 학습 단계에서는 이러한 베이스 체크포인트를 특정 모드와 제어 주기에 맞춰 전문화하여 최종 모델을 구축한다. 단일 모델 구조 내에서 토큰의 성격과 마스킹 방식만 바꿔 역할을 변경하는 설계는 학습 파이프라인을 단순화하고, 생성 모델이 학습한 물리적 이해도가 정책 모델의 성능 향상으로 이어지게 만든다.

GPU 굿풋 최적화를 위한 SageMaker HyperPod의 지속적 풀

일회성 파인튜닝 작업은 노드 장애 확률이 낮아 Amazon SageMaker AI training job 같은 일시적 관리형 학습 작업으로 충분하다. 하지만 합성 데이터 생성, 모델 사후 학습, 시뮬레이션 평가가 끊임없이 반복되는 피지컬 AI 파이프라인은 지속성이 보장된 예약 용량이 필수적이다. 이 환경에서 비용과 효율을 결정하는 핵심 지표는 단일 작업의 최대 처리량이 아니라 GPU 굿풋(GPU Goodput)이다. GPU 굿풋은 예약된 GPU 시간당 전체 루프에서 발생하는 유효한 파이프라인 진척도를 의미하며, 이는 단순한 연산 속도보다 전체 공정의 흐름을 최적화하는 데 집중하는 지표다. 작업 단위가 단발성 학습에서 지속적 루프로 확장됨에 따라 인프라의 성격도 일시적 할당에서 상시 예약 체제로 전환된다.

GPU 굿풋을 극대화하려면 각 단계를 별도 클러스터로 나누어 운영하는 방식 대신 단일 풀에서 자원을 시분할(Time-shared)해 쓰는 전략이 필요하다. 클러스터를 단계별로 분리하면 대규모 데이터셋을 옮기는 시간이 늘어나고 새로운 자원을 할당하는 재프로비저닝 과정에서 상당한 GPU 시간이 낭비된다. Cosmos 3는 월드 시뮬레이터, 정책 모델, 인지 모델이라는 세 가지 모델 클래스를 하나의 모델로 통합해 서로 다른 모드로 동작하게 설계했다. 이러한 통합 구조 덕분에 단일 저장소 계층 위에서 생성, 사후 학습, 평가 작업을 번갈아 수행하며 자원 파편화를 방지하고 실제 유효 작업 시간을 확보한다. 이는 학습과 추론의 비대칭성으로 인해 발생하는 자원 낭비를 최소화하는 핵심 기제로 작동한다.

64B MoT(Mixture of Transformers, 트랜스포머의 혼합 구조) 모델의 아키텍처는 인프라에 매우 구체적인 하드웨어 요구사항을 부과한다. 단일 토큰 스트림을 처리하고 방대한 파라미터를 운용하는 MoT 구조는 시퀀스 길이가 긴 다중 노드 작업을 수반하며, 이때 노드 간 통신 지연을 최소화하는 저지연 인터커넥트(Low-latency interconnect)가 필수적이다. Amazon SageMaker HyperPod on Amazon EKS는 이러한 고성능 네트워크 요구사항을 충족하면서도 전체 클러스터를 단일 제어 평면에서 관리할 수 있는 환경을 제공하여 다중 노드 작업의 복잡성을 해결한다. 특히 대규모 모델의 가중치를 여러 노드에 분산 배치하고 동기화하는 과정에서 발생하는 병목 현상을 물리적 연결 최적화로 억제한다.

지속적인 모델 팩토리 루프를 유지하려면 예약된 용량을 실시간으로 모니터링하고 노드 장애 발생 시 즉시 복구하는 회복력이 뒷받침되어야 한다. HyperPod는 단일 제어 평면을 통해 학습과 추론의 비대칭성을 극복하며 자원을 유연하게 배분한다. 데이터 이동 시간을 최소화하고 유효한 파이프라인 진척도를 높이는 이 방식은 피지컬 AI 모델의 성능을 빠르게 개선하는 플라이휠 효과를 만든다. 결과적으로 개별 작업의 일시적 최적화보다 전체 파이프라인의 지속 가능성을 확보하여 예약된 GPU 자원의 실제 활용도를 극대화한다. 이를 통해 모델 팩토리는 데이터 입력부터 모델 업데이트까지의 주기를 단축하고 하드웨어 효율을 최상으로 유지한다.

현장에서 달라지는 비용과 판단

`awsome-distributed-ai` GitHub 저장소(https://github.com/aws-samples/awsome-distributed-ai)는 설계안을 실제 작동하는 클러스터로 전환하는 데 필요한 인프라 템플릿과 작업 매니페스트(작업 실행 방식과 설정을 정의한 파일)를 제공한다. 이 저장소를 통해 데이터 수집부터 합성 데이터 증강, 학습, 시뮬레이션 평가로 이어지는 폐쇄 루프(출력값이 다시 입력값으로 들어가는 순환 구조) 자동화 체계를 구축할 수 있다. 물리적 AI 모델 팩토리는 개별 단계의 수동 연결을 없애고 전체 파이프라인을 하나의 흐름으로 통합하여 모델 개선 속도를 높인다.

첫 단계는 DROID, BridgeData2, AV 센서 로그 같은 실제 물리 AI 데이터를 Amazon S3(클라우드 객체 저장소)와 Amazon FSx for Lustre(고성능 파일 시스템)에 저장하고 정제하는 과정이다. Amazon FSx for Lustre는 대규모 학습 시 발생하는 높은 데이터 처리 요구량을 충족해 병목 현상을 줄인다. 이렇게 구축된 공유 코퍼스(말뭉치 또는 데이터 집합)는 모델 학습의 기초가 된다. 이어지는 두 번째 단계에서는 교사 모델인 Cosmos3-Super가 합성 데이터를 생성하여 코퍼스를 증강한다. 합성 데이터는 실제 환경에서 수집하기 어렵거나 희귀한 사례를 인공적으로 만들어내어 학습 데이터의 양과 질을 보완하는 역할을 한다.

세 번째 단계에서는 실제 데이터와 합성 데이터가 결합된 코퍼스를 활용해 배포용 학생 모델인 Cosmos3-Nano 정책 모델을 사후 학습한다. 이 과정에서 Nano와 Super 두 계층 모두에 비전 파인튜닝(시각적 이해도를 높이기 위한 미세 조정)을 적용해 인식 정밀도를 높인다. 마지막 네 번째 단계는 폐쇄 루프 시뮬레이션(가상 환경에서 모델의 동작을 시험하는 과정)에서 학습된 정책의 성능을 평가하는 과정이다. 시뮬레이션 중 발생한 실패 사례는 다시 두 번째 단계의 생성 타겟으로 입력되어 교사 모델이 부족한 데이터를 집중적으로 만들도록 유도하는 피드백 경로를 형성한다.

이러한 폐쇄 루프의 효율은 데이터의 절대적인 양보다 실패 사례의 정확한 피드백과 이를 처리하는 인프라의 속도에 결정된다. 단계별로 GPU 자원을 개별 할당하던 기존 방식은 작업 전환 시마다 발생하는 유휴 시간으로 인해 자원 낭비가 심했다. 단일 제어 평면 아래에서 지속적인 GPU 풀을 운영하면 작업 간 전환 비용을 없애고 전체 루프의 유효 진척도를 나타내는 GPU 굿풋을 최적화할 수 있다. 따라서 인프라 설계의 핵심 판단 기준은 개별 작업 단위의 자원 할당에서 벗어나 단일 제어 평면 기반의 통합 GPU 풀을 통해 자원 낭비를 줄이는 것이다.