전력 예산이 결정하는 AI 수익성, Blackwell NVL72의 25배 효율

에어컨이나 전열기구를 사용할 때 가장 먼저 신경 쓰는 것은 전기 요금이다. AI 모델을 운영하는 기업에게 전력은 단순한 비용을 넘어 서비스의 확장 가능성을 결정하는 절대적인 제약 사항이다. 고정된 전력 예산 내에서 얼마나 많은 토큰(token: 텍스트의 최소 처리 단위)을 생성하느냐가 AI 팩토리의 수익성을 결정한다. NVIDIA GB300 NVL72는 이전 세대인 Hopper 대비 와트당 성능을 최대 25배 향상하며 이 문제를 해결했다.

NVIDIA는 개별 GPU의 성능 개선을 넘어 랙 규모(rack-scale: 여러 대의 서버를 하나의 랙에 통합해 관리하는 단위) 기반의 Blackwell NVL72 플랫폼을 제공한다. 이는 실리콘부터 소프트웨어까지 모든 구성 요소를 함께 설계하는 통합 설계(codesign)를 통해 추론 워크로드의 토큰 처리량을 극대화한 구조다. Anthropic과 OpenAI 같은 주요 AI 랩은 이미 추론용으로 Blackwell NVL72 시스템을 도입해 운영하고 있다. 랙 규모의 통합 설계는 개별 노드 단위의 배포에서 발생하는 비효율을 줄여 실제 운영 환경에서 전력 효율을 높이는 기반이 된다.

차세대 Vera Rubin 플랫폼은 Blackwell이 구축한 랙 규모의 에너지 효율 구조를 계승하고 더욱 발전시킨다. GB300 NVL72가 보여준 와트당 성능 25배 향상은 고정된 수치가 아니라 지속적으로 개선되는 시작점이다. AI 팩토리의 수익 구조는 전력 소비 대비 생성 토큰 수라는 명확한 수치에 의해 결정된다. 와트당 성능이 25배 높아졌다는 것은 동일한 전력 비용으로 25배 더 많은 데이터를 처리하거나, 동일한 처리량을 유지하며 비용을 획기적으로 낮출 수 있음을 뜻한다. 이러한 효율성은 에이전틱 AI(agentic AI: 스스로 목표를 설정하고 작업을 수행하는 AI)로 인해 토큰 수요가 급증하는 환경에서 인프라 확장 여부를 결정하는 핵심 지표가 된다.

인프라 운영자는 전력 공급이라는 물리적 한계 내에서 최대의 연산 성능을 끌어내야 하는 과제에 직면한다. Blackwell NVL72는 랙 단위의 통합 설계를 통해 전력 소모를 최적화하고 토큰당 비용을 낮추는 실질적인 수단을 제공한다. 이는 전력 예산이라는 고정된 자원 안에서 수익성을 극대화하려는 엔지니어링적 접근의 결과다.

실리콘부터 소프트웨어까지, 와트당 성능을 높이는 통합 설계(Codesign)

데이터센터 설계자는 전력 공급 한계라는 물리적 벽 앞에서 개별 칩의 성능보다 시스템 전체의 흐름에 집중하기 시작했다. NVIDIA NVLink Switch는 범용 네트워크 장비를 변형한 것이 아니라 GPU 도메인 확장만을 위해 설계된 6세대 전용 스위치다. 이 장치는 SHARP(인-네트워크 컴퓨팅, 네트워크 스위치 내부에서 직접 연산을 수행하는 기술)를 통해 GPU 사이의 데이터 통신 과정에서 발생하는 집계 연산을 스위치가 직접 처리한다. GPU가 연산에만 집중하게 만들어 불필요한 데이터 이동과 대기 시간을 줄임으로써 와트당 처리량을 높이는 구조를 갖췄다.

하드웨어의 효율은 이를 제어하는 소프트웨어 스택의 최적화 수준에 따라 결정된다. NVIDIA Dynamo와 TensorRT LLM, 그리고 SGLang과 vLLM 같은 추론 프레임워크가 이 통합 설계의 소프트웨어 계층을 담당한다. 이 스택은 하드웨어의 물리적 구조를 이해하고 연산 순서를 재배치하여 전력 소모를 최적화한다. 단순한 라이브러리 제공을 넘어 칩의 연산 유닛과 메모리 사이의 병목 현상을 제거하는 실행 경로를 생성함으로써 전력 낭비를 차단한다.

구체적인 성능 증폭은 데이터 처리 정밀도를 낮추고 메모리 효율을 극대화하는 세부 구현에서 완성된다. NVFP4 양자화(데이터 표현 정밀도를 낮춰 계산 속도를 높이고 메모리 점유율을 줄이는 기술)를 통해 동일 전력으로 더 많은 연산을 수행한다. 여기에 연산과 메모리 관리를 나누는 분리형 서빙, 모델의 일부만 활성화하는 대규모 전문가 병렬 처리, KV-aware 라우팅(키-값 캐시의 위치를 인식해 최적의 경로로 데이터를 보내는 기술), KV 캐시 오프로딩(캐시 데이터를 효율적으로 외부 메모리로 옮기는 기술)이 동시에 작동한다. 이러한 최적화 기술들이 유기적으로 결합되어 개별 GPU가 출력하는 토큰 수를 물리적 한계치까지 끌어올린다.

결국 와트당 성능의 향상은 단일 부품의 개선이 아니라 실리콘부터 소프트웨어까지 모든 계층을 AI 추론이라는 단일 목적에 맞게 일치시킨 통합 설계의 결과다. 하드웨어의 연산 능력이 소프트웨어의 최적화 경로와 맞물릴 때 전력 낭비 없는 추론 환경이 구현된다.

단일 수치를 넘어선 파레토 곡선과 DeepSeek V4의 5배 성능 향상

인프라 운영 책임자는 서비스의 성격에 따라 응답 속도를 높일지, 아니면 운영 비용을 낮출지 결정해야 하는 선택의 기로에 선다. 단순히 벤치마크의 단일 수치만으로는 실제 서비스가 맞닥뜨리는 복잡한 요구사항을 모두 충족할 수 없기 때문이다. 엔비디아는 이러한 운영상의 딜레마를 해결하기 위해 모델별 파레토 곡선(Pareto curves, 지연 시간과 처리량 그리고 비용 간의 최적 균형점을 보여주는 그래프)을 제시한다. 워크로드의 특성에 따라 지연 시간(Latency, 요청 후 응답까지 걸리는 시간)을 최소화하여 사용자 경험을 높여야 하는 경우와, 처리량(Throughput, 단위 시간당 처리하는 데이터 양)을 극대화하여 단위 비용을 낮춰야 하는 경우가 명확히 구분되기 때문이다. 운영자는 이 곡선 위에서 자신의 서비스 목적에 맞는 최적의 작동 지점을 선택해야 한다.

최적의 작동 지점을 찾기 위해 실제 GPU 자원을 투입해 수많은 테스트를 반복하는 것은 막대한 비용과 시간이 소모되는 작업이다. 엔비디아는 이를 방지하기 위해 DynoSim이라는 시뮬레이션 도구를 제공하여, 실제 하드웨어를 가동하기 전 파레토 프런티어(Pareto frontier, 특정 지표를 희생하지 않고는 다른 지표를 개선할 수 없는 최적의 경계선) 상의 최적 지점을 미리 계산할 수 있게 한다. 개발 팀은 DynoSim을 통해 다양한 설정값을 시뮬레이션함으로써, 단 한 시간의 GPU 가동 시간(GPU-hour)도 낭비하지 않고 검증 단계에서 가장 효율적인 인프라 구성안을 도출할 수 있다. 이는 하드웨어 도입 전 운영 비용을 예측하고 전력 예산 내에서 최대의 성능을 뽑아낼 수 있는 구체적인 판단 근거가 된다.

하드웨어의 물리적 스펙 못지않게 소프트웨어 스택의 최적화 속도는 전력 효율을 결정짓는 결정적인 변수로 작용한다. 실제 사례로 DeepSeek V4 모델을 적용했을 때, 소프트웨어 최적화만으로 단 한 달 만에 와트당 성능을 최대 5배까지 개선하는 결과가 나타났다. 이러한 비약적인 향상은 NVIDIA Dynamo와 TensorRT LLM 같은 추론 소프트웨어 스택이 모델의 아키텍처 변화에 맞춰 지속적으로 업데이트되며 하드웨어의 잠재력을 극대화하기 때문에 가능하다. 하드웨어 세대가 바뀌지 않더라도 소프트웨어 계층에서 연산 효율을 높임으로써, 동일한 전력 소모량으로 더 많은 토큰을 생성하는 실질적인 경제적 이득을 얻게 된다.

DSX MaxLPS를 통한 전력 손실 차단과 40% 더 많은 GPU 배치

전기 요금 고지서를 보면 실제로 사용한 가전제품보다 누설되는 전력이 얼마나 많은지 체감하게 된다. AI 팩토리에서도 이와 유사한 전력 누수 문제가 심각하게 발생한다. 고정된 전력 예산 내에서 얼마나 많은 토큰을 생성하느냐가 곧 수익성과 직결되지만, 전력망에서 끌어온 전기의 약 60%만이 실제 AI 연산에 투입된다. 나머지는 냉각 시스템 가동이나 랙 수준의 전력 전달 과정에서 소모되어 사라진다. NVIDIA DSX MaxLPS는 이러한 전력 낭비를 소프트웨어적으로 제어하는 전력 효율 소프트웨어다. 이 도구는 GPU와 랙 사이에서 전력을 실시간으로 이동시켜 실제 연산에 사용되는 전력 비중을 높인다.

DSX MaxLPS는 전력 스티어링(Power steering, 연산 부하에 따라 전력을 유연하게 배분하는 기술)과 온수 액체 냉각 방식을 핵심으로 작동한다. 온수 액체 냉각은 기존의 냉각 방식보다 더 높은 온도의 물을 사용하여 냉각에 들어가는 에너지를 줄이는 방식이다. 여기에 전력 스티어링 기술을 더해 특정 GPU에 부하가 몰릴 때 전력을 즉시 집중시키고 유휴 상태의 전력 손실을 차단하여 하드웨어의 성능을 끝까지 끌어낸다. 결과적으로 운영자는 동일한 전력 예산 내에서 GPU 배치 수를 최대 40%까지 증설할 수 있다. 이는 데이터 센터의 전력 공급 한계가 물리적인 확장 벽으로 작용하는 상황에서 인프라 가용성을 높이는 핵심 판단 기준이 된다.

인프라 효율을 통해 확보한 여유 자원은 실제 대규모 모델의 상용 배치로 이어진다. CoreWeave는 NVIDIA GB300 NVL72 시스템에 Kimi K2.6 모델을 올리고 NVFP4 양자화(데이터 정밀도를 낮춰 계산 속도를 높이는 기술)와 EAGLE3 투기적 디코딩(미리 다음 토큰을 예측해 생성 속도를 높이는 기술)을 함께 적용했다. Perplexity는 Qwen3 235B와 Qwen3.5-397B-A17B 모델을 NVIDIA GB200 NVL72에서 구동하며 매일 수백만 건의 쿼리를 처리하는 AI 에이전트 플랫폼을 운영한다. Fireworks AI는 GLM 5.2 모델을 Blackwell 플랫폼에 배치하여 Cursor와 Factory AI 같은 기업 고객들에게 추론 서비스를 제공한다. 이들은 전력 효율 최적화를 통해 동일 비용으로 더 많은 모델 파라미터를 처리하는 구조를 구축했다.

MoE 모델 시대, 한국 AI 실무자가 주목해야 할 인프라 경제학

인프라 책임자의 한마디가 하드웨어 발주 목록을 바꿨다. 전력 공급 한계에 부딪힌 데이터센터에서 무작정 GPU 수만 늘리는 방식은 더 이상 작동하지 않는다. 최근의 거대 모델들은 대부분 MoE(Mixture-of-Experts, 전문가 혼합) 구조를 채택한다. MoE는 모델의 모든 파라미터를 사용하는 대신, 입력값에 따라 필요한 일부 파라미터만 선택적으로 활성화해 계산 효율을 높이는 아키텍처다. 이론적으로는 적은 연산량으로 거대 모델의 성능을 낼 수 있지만, 이를 실제 서비스 수준인 랙 규모로 서빙하는 과정에서는 데이터 전송과 전력 관리라는 새로운 병목이 발생한다.

랙 규모의 MoE 서빙을 구현하려면 시스템과 소프트웨어 스택 전체를 동시에 설계하는 통합 설계(Codesign)가 필수적이다. 단순히 고성능 GPU를 랙에 채우는 것만으로는 부족하며, 모델의 전문가 병렬 처리 방식과 하드웨어의 데이터 전송 경로가 정밀하게 일치해야 한다. 소프트웨어 스택에서 정의한 연산 순서가 하드웨어의 물리적 연결 구조와 어긋나면, MoE가 제공하는 연산 효율은 네트워크 병목 현상으로 인해 상쇄된다. 통합 설계는 실리콘 레벨의 하드웨어 특성과 추론 소프트웨어의 최적화 기법을 하나의 단위로 묶어 데이터 이동 거리를 최소화하고 전력 손실을 줄이는 작업이다.

한국의 AI 실무자에게 전력 제약 환경에서의 스케일업(Scale-up, 시스템 규모 확장) 가능 여부는 와트당 성능 지표에 의해 결정된다. 국내 데이터센터의 전력 밀도는 물리적인 한계가 명확하며, 전기 요금 인상과 전력 수급 문제는 운영 비용의 가장 큰 변수가 되었다. 와트당 성능이 낮으면 동일한 전력 예산 내에서 가동할 수 있는 GPU 수가 엄격하게 제한되어, 결과적으로 모델의 전체 처리량과 서비스 수익성이 낮아진다. 반면 와트당 성능을 높이면 추가적인 전력 설비 공사 없이도 동일한 전력 예산 내에서 더 많은 GPU를 배치해 추론 능력을 확장할 수 있다.

결국 인프라 경제학의 핵심은 제한된 전력 자원 내에서 얼마나 많은 토큰을 생성하느냐에 있다. 동일한 전력 예산 내에서 GPU 가동 수를 최대 40%까지 늘릴 수 있는 인프라 효율은 단순한 기술적 지표를 넘어 사업의 수익 구조를 결정하는 실질적인 판단 기준이 된다. 실무자는 개별 GPU의 단일 성능보다 랙 단위의 통합 전력 효율이 실제 서빙 비용을 얼마나 낮출 수 있는지 분석해야 한다. 전력 효율이 담보되지 않은 스케일업은 전기 비용의 기하급수적 증가로 이어져 모델 운영의 경제성을 무너뜨리는 리스크가 되기 때문이다.

거대 모델 운영 시 직면하는 전력 공급 부족과 비용 문제는 더 이상 소프트웨어 최적화만으로 해결할 수 없는 물리적 제약이다. NVIDIA GB300 NVL72가 Hopper 대비 와트당 성능을 최대 25배 향상시키고 DSX MaxLPS로 전력 손실을 차단하면서, 동일 전력 예산 내 GPU 가동 수를 최대 40%까지 확대할 수 있는 기반이 마련되었다.

이제 인프라 효율의 판단 기준은 개별 칩의 성능이 아니라 전력 단위당 투입 가능한 GPU 밀도로 결정된다. 현재 확보한 전력 예산 내에서 GPU 배치 수를 최대 40%까지 늘릴 수 있는지 검토하는 것이 인프라 경제성을 확보하는 핵심이다.