에이전트 AI의 15배 토큰 수요와 Vera Rubin NVL72의 30배 효율

에이전트 AI 워크로드(자율적으로 목표를 설정하고 도구를 사용하는 AI 작업 부하)는 단순한 채팅 요청보다 토큰 소비량이 15배 많다. 에이전트 AI가 산업 전반의 실제 생산 환경에 본격적으로 도입되면서, 단순 응답을 넘어 스스로 계획을 세우고 실행하는 과정에서 발생하는 방대한 데이터 처리가 인프라의 핵심 과제로 부상했다. 이러한 수요 폭증은 인프라의 전력 효율성을 극대화해야 하는 필수적인 기술적 제약을 만들었으며, NVIDIA Vera Rubin NVL72는 GB300 NVL72 대비 메가와트당 처리량(전력 1메가와트당 처리하는 데이터 양)을 최대 30배 높여 이 문제를 해결한다.

성능 측정의 객관성을 확보하기 위해 SemiAnalysis AgentX 워크로드를 사용했다. 이 도구는 실제 에이전트 코딩 세션에서 나타나는 컨텍스트 성장(대화 맥락이 길어지며 소비되는 메모리와 연산량 증가), 도구 호출(외부 API나 함수를 호출해 결과를 가져오는 동작), 서브 에이전트 생성(복잡한 과업을 나누기 위해 하위 AI를 추가로 구동하는 방식)을 그대로 보존하여 측정한다. Vera Rubin NVL72는 DeepSeek V4 Pro 모델을 구동할 때, 전체 파레토 곡선(비용과 성능 사이의 최적 효율 지점들의 집합) 전반에서 성능을 끌어올려 GB300 NVL72보다 메가와트당 처리량을 최대 30배 높였다. 다만 이번 결과에는 Vera CPU의 도구 호출 성능이 아직 반영되지 않았다.

전력당 처리량의 비약적인 상승은 토큰 생산 비용의 직접적인 하락으로 연결된다. Vera Rubin NVL72는 GB300 NVL72와 비교했을 때 백만 토큰당 비용을 최대 35배 낮춘 것으로 측정되었다. 전력 공급량이 엄격하게 제한된 AI 팩토리(AI 모델의 학습과 추론을 전문으로 수행하는 고밀도 데이터 센터) 환경에서 이는 동일한 에너지 풋프린트(에너지 소비 총량)를 유지하면서도 30배 더 많은 에이전트 작업을 처리할 수 있다는 수치적 이점으로 전환된다. 이는 결과적으로 고객의 다양한 워크로드 전반에서 에이전트를 대규모로, 그리고 중단 없이 지속적으로 실행할 수 있는 하드웨어 기반이 된다.

AI 팩토리의 경제성 모델에서 메가와트당 처리량은 곧 해당 시설이 창출할 수 있는 전체 매출 규모를 결정하는 결정 요소가 된다. 동시에 백만 토큰당 발생하는 비용은 그 매출에서 실제 기업이 가져가는 수익 마진을 결정하는 핵심 지표다. Vera Rubin NVL72가 제시하는 전력 효율과 비용 절감 수치는 에이전트 AI의 상용화 단계에서 인프라 운영 비용을 낮추고 처리 용량을 극대화하는 하드웨어 표준으로 작용한다. 전력 제약이 심한 환경일수록 메가와트당 처리량의 차이는 AI 팩토리의 생산성과 직결되는 가장 강력한 경쟁 우위가 된다.

NVFP4 양자화와 6세대 NVLink 기반의 하드웨어-소프트웨어 통합 설계

NVFP4 양자화는 모델 가중치를 4비트 정밀도로 압축하여 메모리 점유율을 낮추고 처리량을 높인다. 양자화는 숫자를 표현하는 비트 수를 줄여 데이터 크기를 압축하는 기술로, 메모리 사용량을 줄이면서도 출력 품질을 유지한다. 5세대 텐서 코어(행렬 연산 전용 가속기)와 3세대 트랜스포머 엔진(연산 정밀도를 동적으로 조절하는 장치)은 추론의 핵심 단계인 프리필과 디코드를 가속한다. 프리필은 입력된 프롬프트를 한꺼번에 처리하는 과정이며, 디코드는 다음 토큰을 하나씩 생성하는 과정이다. 하드웨어 수준의 압축과 가속이 결합되어 대규모 모델이 메모리 한계에 부딪히지 않고 빠르게 응답하게 만든다.

6세대 NVLink와 NVLink 스위치는 일반 이더넷보다 패킷 전송률이 10배 높고 지연 시간은 3배 낮다. 패킷 전송률은 단위 시간당 주고받는 데이터의 양을 의미하며, 지연 시간은 데이터가 전달되는 데 걸리는 시간을 뜻한다. GPU 간 데이터 이동 속도가 빨라지면서 분산 처리 환경에서 발생하는 병목 현상이 제거된다. 이는 여러 개의 GPU가 하나의 거대한 모델을 나누어 처리할 때 발생하는 통신 손실을 최소화하여 전체 시스템의 효율을 높인다. 초저지연 인터커넥트는 데이터 전송 시간을 줄여 추론 단계의 대기 시간을 직접적으로 낮춘다.

전체 플랫폼은 7개의 칩으로 구성된 아키텍처를 채택하여 하드웨어 간의 시너지를 낸다. 여기에는 NVIDIA Vera CPU와 Groq 3 LPU(언어 처리 전용 유닛), NVLink 6 스위치, BlueField-4 DPU(데이터 처리 전용 유닛), Spectrum-6 SPX, ConnectX-9 SuperNIC가 포함된다. 각 칩은 AI 팩토리에서 에이전트를 대규모로 배치하기 위해 특수 설계되었다. CPU가 전체 제어를 맡고 LPU가 언어 처리를 가속하며, DPU와 SuperNIC가 네트워크 트래픽을 효율적으로 관리하는 구조다. 연산, 통신, 데이터 전송의 각 단계에 최적화된 전용 칩을 배치하여 하드웨어 자원 낭비를 줄인다.

소프트웨어 스택은 하드웨어 설계 단계부터 통합되어 최적의 성능을 구현한다. 저수준 GPU 프로그래밍 언어인 CUDA 커널부터 추론 런타임인 TensorRT LLM, 서빙 프레임워크인 NVIDIA Dynamo가 유기적으로 연결된다. 런타임은 모델을 실제 하드웨어에서 실행하는 환경을 제공하며, 서빙 프레임워크는 사용자 요청을 효율적으로 배분하고 관리하는 역할을 수행한다. 하드웨어의 물리적 성능을 소프트웨어가 최대한으로 끌어내어 추론 최적화를 완성한다. 이러한 통합 설계는 하드웨어의 스펙이 실제 추론 성능으로 직결되도록 만드는 핵심 기제다.

Hopper에서 Vera Rubin까지: DeepSeek V4 Pro 기반 성능

DeepSeek V4 Pro 모델 구동 시 GB300 NVL72의 메가와트당 처리량은 Hopper 아키텍처보다 최대 15배 높다. 메가와트당 처리량은 전력 1메가와트를 사용할 때 처리하는 데이터의 양을 의미하며, 이는 전력 효율의 절대적 지표가 된다. 이러한 성능 도약은 더 확장된 스케일업 GPU 도메인과 하드웨어에 최적화된 소프트웨어 통합 설계가 추론 효율을 극대화했기 때문에 가능하다. 스케일업 도메인은 다수의 GPU를 하나의 거대한 논리적 가속기로 묶어 데이터 병목을 줄이는 물리적 구성 방식을 말한다.

Vera Rubin NVL72의 메가와트당 처리량은 GB300 NVL72와 비교해 최대 30배 더 높다. 이전 세대인 Hopper에서 GB300으로 넘어올 때보다 전력 효율 상승 폭이 훨씬 가파르게 나타난다. 이는 에이전트 AI가 수행하는 복잡한 추론 과정에서 발생하는 막대한 연산량을 전력 소모의 급증 없이 처리할 수 있음을 의미한다. 전력당 처리량의 기하급수적 증가는 AI 팩토리의 전력 예산 내에서 더 많은 GPU를 수용하고 더 많은 토큰을 생성할 수 있는 환경을 제공한다.

성능 최적화의 물리적 기반은 Vera Rubin과 Grace Blackwell 아키텍처가 공유하는 NVL72 스케일업 도메인이다. 이 구조는 대규모 전문가 병렬화(Expert Parallelism, 모델의 가중치를 여러 전문 모듈로 나누어 처리하는 기법)와 분산 KV 캐싱(Distributed KV-caching, 이전 토큰의 키와 값 벡터를 메모리에 저장해 중복 계산을 방지하는 기술)을 구현하는 데 필수적인 고대역폭 저지연 통신을 지원한다. 특히 6세대 NVLink와 NVLink 스위치는 일반적인 이더넷 대안보다 패킷 전송률이 10배 높고 지연 시간은 3배 낮아 GPU 간 데이터 교환 속도를 획기적으로 높였다.

Blackwell 플랫폼은 DeepSeek V4 Pro뿐만 아니라 Kimi K3, MiniMax M3, GLM5.3, Qwen3.5 등 주요 에이전트 모델들을 폭넓게 지원한다. 위에서 언급한 처리량 수치는 실제 에이전트 코딩 경로를 추적하여 측정하는 SemiAnalysis AgentX 워크로드를 통해 검증되었다. 이 측정 도구는 단순한 텍스트 생성이 아니라 실제 코딩 세션에서 발생하는 컨텍스트의 지속적인 성장, 외부 도구 호출, 그리고 하위 에이전트를 생성하는 복잡한 동작 과정을 모두 반영하여 성능을 산출한다.

AI 팩토리의 수익 구조를 결정하는 전력 관리와 비용 최적화

동일한 메가와트 예산 내에서 GPU 수용량을 최대 40% 더 확보하는 전력 관리 기술이 AI 팩토리의 물리적 한계를 넓힌다. NVIDIA DSX MaxLPS(GPU, 랙, 워크로드 수준의 전력 관리 기술)는 전력 소비를 세 가지 계층에서 통합 제어하여 에너지 낭비를 최소화한다. GPU 수준에서는 전압과 클럭을 실시간으로 조정해 불필요한 전력 소모를 막고, 랙 수준에서는 전력 분배 장치를 통해 전체 시스템의 전력 균형을 최적화하며, 워크로드 수준에서는 실행되는 작업의 특성에 따라 전력을 동적으로 할당한다. 전력 공급량이 엄격하게 제한된 현대의 데이터 센터 환경에서 GPU 밀도를 높이는 것은 곧 연산 자원의 절대량을 늘려 처리 능력을 확장하는 것과 같다.

전력당 처리량(T/MW, Throughput per megawatt)은 AI 팩토리가 단위 전력으로 얼마나 많은 데이터를 처리할 수 있는지를 나타내는 핵심 지표다. 전력 인프라를 확충하는 작업은 전력망 공사와 변전소 설치 등 막대한 시간과 비용이 소요되는 물리적 공정이다. 따라서 주어진 전력 예산 내에서 처리량을 극대화하는 것이 매출 증대의 가장 빠르고 직접적인 경로가 된다. T/MW가 높아질수록 동일한 전기 요금과 냉각 비용으로 더 많은 사용자 요청을 처리할 수 있으며 이는 서비스 제공자가 수용 가능한 최대 트래픽 양을 결정하는 기준이 된다. 결과적으로 전력 효율의 상승은 인프라 추가 증설 없이도 매출 상한선을 높이는 실질적인 효과를 만든다.

백만 토큰당 비용은 AI 서비스의 운영 효율성을 결정하며 이는 곧 수익 마진으로 직결된다. 추론 과정에서 발생하는 전력 소비와 하드웨어 감가상각비를 토큰 단위로 세분화하여 관리할 때 비로소 시장 상황에 맞는 정교한 가격 전략을 수립할 수 있다. 특히 복잡한 추론 과정에서 토큰 소비량이 급증하는 에이전트 기반 워크로드일수록 백만 토큰당 비용의 감소 폭이 전체 영업 이익에 미치는 영향이 절대적이다. 하드웨어와 소프트웨어의 극단적 공동 설계(Extreme codesign, 하드웨어와 소프트웨어를 동시에 최적화하는 설계 방식)를 통해 전력 누수를 줄이는 것은 단순한 비용 절감을 넘어 서비스의 가격 경쟁력을 확보하는 핵심 수단이 된다.

AI 팩토리의 경제성은 전력이라는 물리적 제약을 얼마나 효율적으로 연산량으로 전환하느냐에 달려 있다. 전력 관리 기술을 통해 GPU 밀도를 높이면 초기 인프라 투자 비용 대비 처리 효율이 상승하며 이는 운영 비용의 하락으로 이어진다. 고밀도 GPU 구성은 칩 간의 데이터 전송 경로를 단축해 전송 과정에서 발생하는 전력 손실을 줄이고 전체 시스템의 에너지 효율을 끌어올린다. 이러한 구조적 최적화는 대규모 언어 모델의 추론 비용을 획기적으로 낮추어 이전에는 수익성이 낮아 불가능했던 광범위한 상용 서비스 적용을 가능하게 한다. 이는 AI 인프라 운영자가 전력 효율을 단순한 기술 지표가 아닌 재무적 성과 지표로 관리해야 함을 의미한다.

전력당 처리량(T/MW)과 백만 토큰당 비용을 기준으로 AI 팩토리의 매출과 수익 마진을 산출하여 인프라 투자 규모를 결정해야 한다.