102.4Tbps 대역폭의 NVIDIA Spectrum-6와 Vera Rubin

NVIDIA Spectrum-6는 이전 세대 대비 2배의 용량을 구현하여 초당 102.4테라비트(Tbps)의 대역폭을 제공한다. 수십만 개의 GPU와 CPU가 결합된 기가스케일 AI 팩토리 운영자는 네트워크 대역폭 제한으로 인한 컴퓨팅 파워 낭비를 해결하고 인프라 규모를 확장할 수 있다. 대역폭 증가는 데이터 센터 내 수많은 연산 노드가 동시에 데이터를 주고받을 때 발생하는 정체 현상을 해결하며, 거대 모델의 학습 속도를 결정짓는 물리적 한계를 높여 전체 시스템의 처리 효율을 개선한다.

이 이더넷 스위치 시스템은 NVIDIA Vera Rubin 플랫폼의 통합 구성 요소로 작동한다. Vera Rubin 플랫폼은 Vera CPU, Rubin GPU, GPU 간 초고속 데이터 전송을 담당하는 NVLink 6 Switch를 포함한다. 여기에 네트워크 접점인 ConnectX-9 SuperNIC, 데이터 처리 부하를 분산하는 BlueField-4 DPU, 전체 네트워크를 제어하는 Spectrum-6 이더넷 스위치가 결합된다. 특히 Spectrum-6 스위치 칩은 ConnectX-9 SuperNIC와 결합하여 AI 최적화 이더넷 플랫폼인 Spectrum-X Ethernet을 형성하며, 각 하드웨어는 단일 플랫폼 내에서 데이터 흐름을 최적화해 기가스케일 환경의 컴퓨팅 파워를 증폭시킨다.

CoreWeave, Microsoft, Nebius, SpaceXAI, Tesla가 Spectrum-6를 초기 도입하여 AI 팩토리 성능을 가속화한다. 특히 CoreWeave, Microsoft, Nebius는 Vera Rubin 기반 인프라를 우선 배포하여 일반 개발자와 스타트업, 기업들이 고성능 AI 플랫폼에 접근할 수 있는 경로를 확장하고 AI 모델 개발 진입 장벽을 낮춘다. 대규모 인프라 구축사들의 초기 도입은 Spectrum-6가 실제 운영 환경의 대역폭 요구치를 충족함을 보여준다.

ConnectX-9 SuperNIC과 결합한 Spectrum-X의 지능형 트래픽

네트워크 연결 인터페이스는 유지보수 편의성을 위한 플러거블(pluggable) 방식과 전송 효율을 극대화한 공동 패키징 광학(co-packaged optics) 폼 팩터 중 환경에 맞는 구성을 선택할 수 있다. Spectrum-6는 이 두 가지 규격을 모두 지원해 데이터 센터의 물리적 배치 제약을 없앴다. 여기에 액체 냉각(liquid cooling) 지원을 더해 네트워크 장비의 열을 직접 제거함으로써 전력 소비를 줄이고 AI 팩토리 전체의 냉각 인프라를 통합 관리한다. 하드웨어 인터페이스 선택지와 냉각 효율의 결합은 전력 밀도가 높은 AI 서버 랙의 안정성을 확보하는 물리적 기반이 된다.

Spectrum-X는 가용 경로를 실시간으로 분석해 데이터 패킷을 분산 배치함으로써 특정 링크에 트래픽이 집중되어 발생하는 병목 현상을 방지한다. 특정 경로에서 하드웨어 장애나 링크 단절이 발생하면 즉시 이를 감지하고 우회 경로를 확보해 데이터 전송을 지속하며, 패킷 손실 발생 시 이를 정밀하게 추적해 복구한다. 이러한 경로 제어 메커니즘은 수만 개의 GPU가 연결된 환경에서 단일 링크 오류가 전체 연산 작업의 지연으로 이어지는 위험을 낮춰 대규모 클러스터의 가동률을 유지한다.

데이터 전송 프로토콜은 RDMA(Remote Direct Memory Access) 전송 모델 중 워크로드에 적합한 방식을 선택해 적용한다. 사용자는 네트워크 지연 시간과 데이터 신뢰성 사이의 균형을 조정하여 모델 학습이나 추론 등 작업 성격에 맞는 최적의 전송 효율을 설정할 수 있다. 소프트웨어 계층에서는 오픈 네트워크 운영체제를 지원해 구축 유연성을 높였다. 관리자는 오픈 소스 기반 운영체제로 네트워크 설정을 세밀하게 제어할 수 있으며, 서로 다른 제조사 제품이 섞인 환경에서도 일관된 관리 체계를 유지해 성능 손실 없이 시스템을 확장할 수 있다.

일반 이더넷 대비 1.6배 성능과 1.7배의 스위치 수 절감

기성 이더넷 대비 최대 1.6배 높은 AI 네트워킹 성능을 구현한다. 일반 기업용 이더넷은 사용자, 서버, 저장소 사이의 북남향(North-South) 트래픽 처리에 설계되었으나, 거대 AI 모델 학습에는 서버 간 데이터를 주고받는 동서향(East-West) 통신이 빈번하게 발생한다. Spectrum-X는 지능형 스위치, ConnectX-9 SuperNIC, 풀스택 네트워킹 소프트웨어를 통합 설계하여 이러한 동시다발적 집합 통신 구조에 최적화함으로써 데이터 전송 병목을 제거했다.

하드웨어 가속 기반의 멀티플레인 토폴로지(multiplane topologies)를 적용해 데이터 센터 내 필요 스위치 수를 1.7배 줄였다. 데이터 경로를 여러 평면으로 분리해 트래픽을 물리적으로 분산함으로써, 네트워크 규모 확대 시 스위치 계층이 복잡해지고 장비 수가 급증하는 한계를 극복했다. 이는 물리적 장비 수를 낮추면서도 전송 속도를 일정하게 유지해 데이터 센터의 공간과 전력 설비 규모를 줄이고 운영 비용을 낮추는 이득을 제공한다.

Spectrum-X Ethernet Photonics를 통해 전력 효율을 5배 높이고 평균 장애 간격(MTBI)을 10배 개선했다. 광학 기술을 네트워크 계층에 직접 통합하여 전기 신호를 빛으로 변환해 전송함으로써 전력 소모를 줄이고 신호 감쇄를 막았다. 특히 MTBI의 10배 향상은 10만 개 이상의 GPU가 연결된 대규모 클러스터에서 빈번한 네트워크 단절 사고를 획기적으로 줄여 전체 워크로드 처리 속도를 가속했다.

10만 개 GPU 규모에서 달성하는 95% 네트워크 효율과 비용 절감

10만 개 이상의 GPU를 배치한 대규모 환경에서 최대 95%의 네트워크 효율을 유지한다. GPU들이 서로의 연산 완료를 기다리며 낭비하는 유휴 시간을 줄이고, 모든 장치가 동일한 속도로 동기화되어 작동하는 락스텝(lockstep) 상태를 구현해 동일 하드웨어 자원으로 더 많은 연산을 처리한다.

대규모 워크로드의 성능을 결정짓는 집합 통신 과정을 최적화하여 동서향 트래픽의 충돌과 지연을 억제했다. 통신 효율이 높아지면 장시간 학습 작업의 회복 탄력성(resilience)이 강화되어 모델 학습 소요 시간이 단축되고, 결과적으로 추론 서비스의 시장 배포 속도가 빨라진다.

실리콘부터 시스템, 소프트웨어까지 전 과정을 함께 설계하는 수직 통합(vertical integration) 방식을 통해 토큰당 생성 비용(cost per token)을 최저 수준으로 낮췄다. 설계 단계부터 하드웨어와 소프트웨어를 공동 설계(codesigning)하여 표준 이더넷과 오픈 프로토콜을 지원하는 개방 구조를 유지하면서도 최적의 데이터 경로를 확보했다. 이는 인프라 구축 비용뿐 아니라 운영 과정의 전력과 시간 비용을 동시에 절감한다.

이러한 통합 설계의 결과로 사용자는 즉시 투입 가능한 완성된 AI 팩토리 플랫폼을 제공받아 학습 시작부터 서비스 배포까지의 전체 사이클 시간을 단축할 수 있다. 네트워크 효율 95%는 10만 개의 GPU가 하나의 거대한 컴퓨터처럼 유기적으로 작동하게 만드는 시스템 엔지니어링의 결과물이며, 이를 통해 엔지니어는 인프라 설정의 복잡성을 줄이고 모델 성능 개선에 집중할 수 있다.

기가스케일 AI 팩토리 도입을 위한 전력 효율과 회복탄력성 기준

한국의 AI 인프라 실무자는 GPU 단일 성능보다 전력 밀도와 냉각 효율을 통한 실질 가동률을 최우선으로 검토해야 한다. 액체 냉각 인프라 도입은 수십만 개의 GPU와 CPU가 결합된 기가스케일 AI 팩토리의 전력 효율을 최적화하는 필수 조건이다. 특히 공간 제약이 심한 국내 데이터 센터 환경에서 고밀도 컴퓨팅을 구현하려면 공랭식의 발열 제어 한계를 극복해 전력 소모 급증을 막아야 하며, 이는 단위 전력당 처리 가능한 토큰 수를 늘려 생성 비용을 낮추는 직접적인 수단이 된다.

대규모 클러스터 운영 시 실질적인 성능 저하 요인은 단일 링크 지연이 전체 작업 중단으로 이어지는 락스텝 문제다. 프런티어 모델을 학습시키는 환경에서는 수만 개의 GPU가 유기적으로 데이터를 주고받아야 하므로, 단 하나의 통신 경로에서 병목이 발생하면 수천억 원 규모의 인프라 자원이 유휴 상태가 되어 막대한 자원 낭비와 학습 기간 연장으로 직결된다. 따라서 장애 발생 시 즉각적으로 우회 경로를 확보하고 트래픽을 재분배하는 능력이 실질적인 컴퓨팅 파워를 결정한다.

인프라 확장 단계에서 벤더 종속성을 완화하려면 오픈 프로토콜과 표준 이더넷 지원 여부를 면밀히 분석해야 한다. 특정 제조사의 폐쇄적인 독자 규격은 초기 성능은 높을 수 있으나 장기적으로 하드웨어 교체 주기와 확장 비용에 제약을 초래한다. 표준 이더넷 기반의 고성능 패브릭을 구축하면 다양한 하드웨어 조합으로 유연성을 확보하면서 AI 워크로드에 최적화된 대역폭을 유지하는 성능과 비용의 균형점을 찾을 수 있다. 자세한 네트워크 구성 방식은 Spectrum-X에서 확인할 수 있다.

기가스케일 AI 인프라 도입의 최종 판단 기준은 GPU의 이론적 연산 성능이 아니라 네트워크 효율과 스위치 집적도를 통해 계산한 토큰당 생성 비용의 최적화 수치여야 한다.