NVHBM 공개, HBM4E 대비 대역폭 30% 향상
NVHBM은 표준 HBM4E 대비 메모리 대역폭을 최대 30% 높이고 XPU 연산 다이 면적을 25% 더 확보한다. 데이터 전송 속도가 연산 속도를 따라가지 못해 하드웨어 자원이 낭비되거나 칩 면적의 한계로 연산 코어를 충분히 배치하지 못했던 설계상의 제약이 해결된다. NVHBM은 고대역폭 메모리(High-Bandwidth Memory, 데이터를 한 번에 대량으로 주고받는 고성능 메모리)의 차세대 기술이다. 대역폭이 30% 증가한다는 것은 데이터를 실어 나르는 통로의 너비가 그만큼 넓어진다는 뜻이며 이는 대규모 모델의 학습과 추론 과정에서 발생하는 병목 현상을 직접적으로 줄여준다.
표준 HBM4E와 비교했을 때 메모리 전력 소비는 15% 감소했다. 전력 소비의 감소는 칩의 발열량을 낮추어 냉각 비용을 줄일 뿐 아니라 동일한 전력 예산 내에서 더 높은 클럭 속도를 유지하거나 더 많은 가속기를 밀집 배치할 수 있는 환경을 제공한다. 이와 동시에 XPU 컴퓨트 다이(Compute Die, 실제 연산이 수행되는 반도체 칩 조각)의 면적을 최대 25% 추가로 확보했다. 칩 내부의 한정된 물리적 공간에서 연산 전용 면적이 늘어난다는 것은 더 많은 연산 유닛을 탑재해 처리량을 높이거나 모델의 가중치를 효율적으로 관리할 수 있는 설계적 여유가 생겼음을 의미한다.
Amazon Annapurna Labs의 부사장 Nafea Bshara는 NVHBM이 고대역폭 메모리의 성능과 효율을 높이는 새로운 아키텍처 접근 방식이라고 설명했다. 이번 기술 협력이 향후 AWS 인프라 설계에 이득이 될 것이라고 덧붙였다. NVHBM은 단순히 메모리 속도를 높이는 수준을 넘어 전력 효율과 물리적 공간이라는 두 가지 핵심 하드웨어 제약을 동시에 해결한다. 결과적으로 XPU가 가진 연산 잠재력을 최대한으로 끌어올려 인프라 전체의 효율성을 높이는 구조를 구현했다.
메모리 컨트롤러의 3D HBM 베이스 다이 통합
기존 HBM(고대역폭 메모리, 데이터를 빠르게 주고받기 위해 칩을 수직으로 쌓은 메모리) 구조는 메모리 컨트롤러를 XPU(가속기, GPU나 TPU 같은 연산 칩) 다이 내부에 배치한다. 메모리 컨트롤러는 데이터의 흐름을 제어하고 주소를 할당하는 장치인데, 이것이 연산 칩의 실리콘 면적을 직접 점유한다. 한정된 칩 면적에서 컨트롤러가 차지하는 공간만큼 연산 코어를 배치할 자리가 줄어드는 물리적 제약이 발생한다. 연산 밀도를 극한으로 높여야 하는 AI 칩 설계에서 컨트롤러의 위치는 실리콘 자원의 낭비 요인이 된다.
NVHBM은 NVIDIA 커스텀 메모리 컨트롤러를 3D HBM 스택의 베이스 다이로 옮겨 이 문제를 해결한다. 베이스 다이는 메모리 층들의 가장 아래에 위치하여 프로세서와 통신을 담당하는 기초 층이다. 컨트롤러를 연산 칩이 아닌 메모리 스택의 바닥 층에 통합함으로써 데이터 제어 로직을 연산 영역과 물리적으로 완전히 분리했다. 메모리 스택 내부에서 제어 기능을 먼저 수행하고 정제된 데이터만 XPU로 전달하는 방식이다.
이러한 배치의 변화는 XPU 다이의 가용 면적을 연산 전용으로 전환하는 결과로 이어진다. 과거에 메모리 컨트롤러가 차지하던 실리콘 영역에 더 많은 연산 유닛이나 대용량 캐시 메모리를 추가로 배치할 수 있다. 칩의 전체 크기를 키우지 않고도 내부 구성 요소를 재배치하여 연산 밀도를 높이는 전략이다. 메모리 관리 로직이 연산 영역을 침범하지 않게 되어 실리콘 활용 효율이 극대화된다.
결과적으로 XPU는 메모리 제어라는 부가적인 작업에서 벗어나 순수하게 연산 작업에만 자원을 집중할 수 있다. 베이스 다이에 통합된 컨트롤러가 메모리 접근 효율을 최적화하고, XPU는 전달받은 데이터를 처리하는 역할에만 충실하게 된다. 이는 하드웨어 설계 단계에서 연산 영역과 제어 영역을 물리적으로 분리하여 각각의 최적화를 꾀한 구현 방식이다. 이를 통해 연산 칩의 실리콘 면적 낭비를 제거하고 컴퓨팅 자원을 확보했다.
NVLink Fusion과 Amazon Annapurna Labs 협력
커스텀 AI 칩을 설계하는 기업은 NVLink Fusion을 통해 자사 가속기를 NVIDIA GPU와 동일한 랙 규모 아키텍처에서 연동할 수 있다. Amazon Annapurna Labs(아마존의 칩 설계 부서)는 NVHBM 기술과 NVLink 스케일업 아키텍처 협력을 진행하는 첫 번째 파트너로 선정되었다. 여기서 스케일업 아키텍처는 단일 시스템 내에서 연산 자원을 확장해 성능을 높이는 구조를 말한다. 이 협력을 통해 개발되는 Trainium4는 NVLink Fusion을 지원하는 아마존의 차세대 학습 칩이다. 아마존의 자체 칩과 NVIDIA GPU가 하나의 랙 내에서 통합된 구조로 작동하며 데이터 전송 효율을 극대화한다.
NVLink Fusion은 커스텀 XPU(가속기)와 CPU를 NVIDIA의 랙 규모 플랫폼에 직접 연결하는 인터페이스를 제공한다. 파트너사는 칩 내부의 고속 연결을 담당하는 NVLink 칩렛(칩의 최소 단위인 작은 반도체 조각)과 칩과 칩을 직접 잇는 NVLink-C2C 기술을 활용한다. 여기에 데이터 경로를 최적화하는 NVLink 스위치와 모듈형 하드웨어 설계 표준인 NVIDIA MGX 시스템 및 랙이 포함된다. 이를 통해 ASIC(주문형 반도체) 설계자와 시스템 제조사는 물리적인 랙 설계나 네트워크 배선 문제를 개별적으로 해결할 필요가 없다. 검증된 하드웨어 스택을 그대로 가져와 자신의 칩만 얹는 방식으로 시스템을 구축하여 개발 리스크를 낮춘다.
이 생태계는 CPU 파트너와 ASIC 설계자, 시스템 제조사 및 다양한 기술 제공업체를 아우르는 협력 체계로 운영된다. NVIDIA는 여러 메모리 공급업체에서 공통으로 사용할 수 있는 표준 NVHBM 구현 방식을 수립하여 제공한다. 이는 서로 다른 공급사의 메모리를 통합하고 성능을 검증하는 과정에서 발생하는 엔지니어링 공수를 직접적으로 줄인다. 하이퍼스케일러와 AI 혁신 기업은 메모리 호환성이나 물리적 인터페이스 검증에 쏟던 자원을 칩의 연산 로직 최적화에 집중할 수 있다. 표준화된 인터페이스는 하드웨어 교체나 확장 시 발생하는 호환성 문제를 최소화한다. 결과적으로 반맞춤형 AI 인프라를 구축하려는 기업이 커스텀 AI 칩을 시장에 출시하는 기간을 단축하는 실질적인 경로가 된다.
세미 커스텀 AI 인프라의 설계 비용 및 리스크 감소
NVHBM은 여러 메모리 제공업체가 공통으로 사용할 수 있는 표준 사양을 수립한다. 하이퍼스케일러(대규모 데이터센터 운영사)는 개별 공급업체마다 다르게 설계해야 했던 메모리 통합 및 검증 공수를 줄일 수 있다. 표준화된 규격 덕분에 서로 다른 제조사의 메모리를 교체하거나 병행 사용할 때 발생하는 엔지니어링 리스크가 낮아진다. 하드웨어 설계 단계에서 메모리 컨트롤러와의 호환성을 매번 확인하던 반복적인 검증 시간을 단축하며, 메모리 벤더 변경 시 발생하는 물리적 계층의 재설계 부담을 덜어낸다.
NVLink Fusion은 검증된 네트워크, 랙 시스템, 소프트웨어 스택을 패키지로 제공한다. 설계자는 랙 규모의 인프라나 스케일업(단일 시스템 내 자원 확장) 및 스케일아웃(시스템 개수 확장) 네트워크를 처음부터 다시 구축할 필요가 없다. 이미 작동이 확인된 인프라 환경 위에서 XPU(가속기) 자체의 연산 성능 혁신에만 엔지니어링 자원을 집중할 수 있다. 특히 네트워크 스위치와 랙 수준의 전력 및 냉각 설계가 포함된 스택을 그대로 활용하여 구현 시간을 줄인 구조다. NVLink를 통해 이러한 통합 환경을 구축한다.
이러한 세미 커스텀 방식은 하이퍼스케일러가 독자 칩 시장에 진입하는 경로를 단축한다. 모든 구성 요소를 직접 설계하는 풀 커스텀 방식은 인프라 전체의 정합성을 맞추는 데 막대한 시간이 소요된다. 반면 핵심 연산 칩만 설계하고 나머지는 표준 스택을 사용하는 전략은 개발 기간을 줄인다. 초기 배포 시 발생하는 하드웨어 결함 리스크를 최소화하면서 검증된 인프라와 커스텀 칩의 조합으로 배포 속도를 높이는 실무적 이득을 얻는다. 이는 자체 칩 개발 실패 시의 기회비용을 낮추고 제품 출시 주기를 앞당기는 결과로 이어진다.
커스텀 AI 칩 설계 시 연산 영역 확보와 전력 효율 사이의 트레이드오프는 NVHBM 도입으로 얻는 XPU 다이 면적 25% 추가 확보와 전력 15% 감소 수치를 기준으로 판단한다.
