KEY POINT

- NVIDIA Vera Rubin NVL72는 GB200 NVL72 대비 전력당 토큰 처리량 10배 향상 및 토큰당 비용 1/10 수준의 효율을 달성했다.

- 7개 칩과 5개 랙 트레이를 단일 시스템으로 통합 설계하고 Olympus 코어 기반 Vera CPU를 탑재해 에이전트 워크로드 성능을 최적화했다.

- 인프라 운영자는 동일 전력 예산 내 토큰 처리량 증가분과 TCO 절감 수치를 비교하여 GB200에서 Vera Rubin으로의 전환 시점을 결정해야 한다.

#NVIDIA #VeraRubin #AI인프라 #소버린AI #전력효율

Vera Rubin NVL72의 전력 효율 및 토큰 비용 혁신

CoreWeave는 DeepSeek-R1 벤치마크를 통해 Vera Rubin NVL72가 Grace Blackwell NVL72 대비 메가와트당 토큰 처리량을 10배 향상시켰음을 입증했다. 전력 공급이 제한된 AI 팩토리 환경에서 메가와트당 처리량은 인프라의 수익성 있는 확장을 결정하는 핵심 지표로 작용한다. NVIDIA는 칩부터 전력망까지 통합 설계한 Vera Rubin 플랫폼을 통해 전력당 성능을 극대화하고 토큰당 비용을 최소화했다.

NVIDIA Vera Rubin NVL72는 GB200 NVL72와 비교하여 백만 토큰당 비용을 1/10 수준으로 절감했다. 이는 동일한 전력 footprint 내에서 더 많은 지능형 연산을 수행할 수 있음을 의미하며, 추론 단계에서 발생하는 운영 비용을 수치적으로 낮춘 결과다. NVIDIA는 CoreWeave, Google Cloud, Microsoft Azure, Oracle Cloud Infrastructure(OCI)와 함께 Vera Rubin NVL72의 생산 및 배포를 본격화하고 있다.

공급망 측면에서 NVIDIA는 30개국 350개 이상의 공장 사이트를 확보하여 역대 최대 규모의 랙 스케일 공급망을 구축했다. 이를 통해 급증하는 고객의 컴퓨팅 수요에 신속하게 대응할 수 있는 체계를 마련했다. 이러한 효율성 개선은 특히 에이전트 시스템이 기존 AI 애플리케이션보다 최대 15배 더 많은 토큰을 소비하는 환경에서 전략적 우선순위가 된다.

7개 칩 통합 설계와 Olympus 코어 기반 Vera CPU

NVIDIA는 Vera Rubin NVL72, Vera CPU 랙, Groq 3 LPX, Spectrum-6 SPX, Vera BlueField-4 STX 등 7개 칩과 5개 랙 트레이를 단일 시스템으로 통합 설계했다. 범용 제품을 개별 조립하는 방식에서 벗어나 설계 초기부터 하드웨어 전체를 하나의 단위로 묶는 '익스트림 코디자인(Extreme Co-design)'을 적용했다. 이 방식은 칩셋 간 데이터 전송 지연과 물리적 인터페이스 불일치 등 하드웨어 병목 현상을 근본적으로 제거한다.

시스템의 중심인 Vera CPU는 맞춤형 Olympus 코어를 탑재하여 AI 에이전트 시대의 워크로드에 최적화되었다. Olympus 코어는 기존 칩렛(Chiplet) 설계 대비 싱글스레드 성능을 2배 높여 순차적 논리 처리가 중요한 에이전트 작업의 실행 속도를 개선했다. 또한 코어 간 대역폭을 3배 넓히고 메모리 지연시간을 40% 낮추어 데이터 처리 효율을 극대화했다.

이러한 CPU 성능 향상은 복잡한 제어 흐름과 빈번한 상태 변경이 발생하는 에이전틱(Agentic) 워크로드에서 가장 효율적인 싱글스레드 성능을 제공하는 기반이 된다. 가속 컴퓨팅, 네트워킹, 소프트웨어가 결합된 풀스택 아키텍처는 모델 학습부터 실제 프로덕션 단계까지 에이전트가 효율적으로 구동될 수 있는 컴퓨팅 토대를 제공한다.

NVLink 6 및 Spectrum-X 기반의 초고속 네트워킹

NVIDIA는 6세대 NVLink 스케일업 패브릭을 통해 일반 이더넷 대비 처리량을 2배 높이고 지연시간을 3배 줄였으며 패킷 전송률을 10배 증가시켰다. 특히 260 TB/s 대역폭의 NVLink 6 패브릭은 DeepSeek-R1과 같은 MoE(전문가 믹스) 아키텍처 운용 시 GPU 간 통신 제약을 제거하여 랙 전체가 하나의 거대한 가속기처럼 동작하게 한다.

스케일아웃(Scale-out) 단계에서는 102.4T Spectrum-6 스위치 시스템과 1.6T ConnectX-9 SuperNIC을 조합한 Spectrum-X 이더넷을 도입했다. 이 시스템은 적응형 라우팅과 고급 혼잡 제어 기능을 통해 일반 이더넷보다 RDMA 대역폭을 1.6배 향상시켰다. CoreWeave, Microsoft, SpaceXAI, Tesla 등 주요 인프라 구축 기업들이 AI 팩토리 가속화를 위해 Spectrum-6 스위치를 우선 도입했다.

멀티 사이트 확장성을 위해 도입된 Spectrum-XGS 이더넷은 사이트 간 처리량을 1.9배 확장하여 지리적 제약을 극복한 기가스케일 AI 구현을 지원한다. 또한 NVIDIA Photonics의 공동 패키징 광학(CPO) 기술을 적용한 스위치는 플러그형 트랜시버 대비 전력 소비를 5배 줄이고 MTBF(평균 고장 간격 시간)를 10배 높였다. NVLink Fusion은 제3자 XPU가 NVLink 스택을 활용할 수 있도록 개방하여 파트너사의 시장 진입 속도를 높였다.

조립 공정 단축 및 칠러 없는 액체 냉각 시스템

NVIDIA는 랙 트레이 내부에서 케이블, 팬, 호스를 모두 제거한 설계를 적용하여 컴퓨팅 트레이 조립 시간을 수 시간에서 1분으로 단축했다. 이는 수천 개의 GPU가 투입되는 대규모 AI 팩토리 구축 시 전체 배포 일정을 획기적으로 앞당기는 물리적 이점을 제공한다. 단순한 조립 편의성을 넘어 대규모 클러스터의 신속한 확장을 가능하게 하는 설계다.

냉각 효율을 위해 NVIDIA는 액체 냉각 입구 온도를 45도로 설계하여 전력 소모가 큰 칠러(Chiller) 없이 드라이 쿨러만으로 운영 가능한 환경을 구축했다. 45도 고온 입구 설계는 외부 공기로 냉각수를 식히는 드라이 쿨러 작동을 가능하게 하여 인프라 운영 비용을 낮추고 전력 밀도를 높였다.

또한 폐쇄 루프(Closed-loop) 액체 냉각 시스템을 도입하여 메가와트당 연간 수백만 갤런의 용수를 절감했다. 이 시스템은 냉각수가 외부로 배출되지 않고 밀폐된 관 속에서 순환하며 열을 옮기는 구조로, 수자원 확보가 어려운 지역에서도 대규모 컴퓨팅 클러스터를 지속 가능하게 운영할 수 있는 근거가 된다.

소버린 AI 구현을 위한 유럽 인프라 및 TCO 판단 기준

Microsoft와 Mistral은 NVIDIA Vera Rubin을 기반으로 유럽 내 소버린 AI(Sovereign AI) 인프라를 확장하는 수십억 달러 규모의 협약을 체결했다. 이 파트너십은 유럽의 오픈 모델과 클라우드 및 고객 제어 환경을 결합하여 정부 및 규제 산업이 데이터 통제권과 전략적 자율성을 유지하며 AI를 도입하도록 지원한다. Mistral은 수만 개의 Vera Rubin GPU를 투입하여 고객을 위한 AI 컴퓨팅 가용성을 높이고 학습 및 추론을 위한 공유 플랫폼을 제공한다.

현재 Mistral Medium 3.5와 OCR 4 모델은 Microsoft Foundry에 제공되며, Mistral 모델들은 Microsoft Copilot Studio에 통합되었다. 고객은 Azure Local과 Foundry Local을 통해 퍼블릭 클라우드와 동일한 모델 및 운영 패턴을 고객 제어 환경(프라이빗 클라우드 등)에서 그대로 사용할 수 있다. 이는 데이터 제어, 거버넌스, 회복 탄력성이라는 지역적 요구사항을 충족하면서도 기가스케일 AI를 구현하는 구조다.

결론적으로 AI 인프라 결정권자는 GB200 NVL72 대비 토큰당 비용 1/10 및 전력당 토큰 처리량 10배 향상이라는 성능 비교 기준을 통해 TCO(총소유비용)를 가늠해야 한다. 특히 동일 전력 예산 내에서 처리 가능한 토큰 양의 증가분과 운영 비용 절감 수치를 정밀하게 산출하여 인프라 전환 및 확장 시점을 선택하는 것이 중요하다.