AI 에이전트의 동시 요청과 Vera CPU의 3.21배 처리량

AI 에이전트가 수천 개의 작업을 동시에 생성하며 GPU가 스토리지에 직접 데이터를 요청하는 인프라 압박 상황에서, NVIDIA Vera CPU는 x86 CPU 대비 최대 3.21배 높은 처리량을 제공한다. 이 수치는 대규모 AI 모델을 운용하는 기업이 데이터 전송 병목을 해결하기 위해 어떤 하드웨어를 선택해야 하는지 결정하는 직접적인 근거가 된다.

최근의 AI 인프라는 GPU가 중간 단계 없이 스토리지에 직접 접근해 데이터를 읽고 쓰는 구조로 변하고 있다. 이 과정에서 데이터를 암호화하는 보호 작업, 용량을 줄이는 압축, 데이터 변조 여부를 확인하는 검증, 분산 저장된 데이터를 합치는 재구성 같은 데이터 서비스가 시스템 전체 속도를 결정하는 병목 지점으로 작용한다. 기존 x86 CPU 기반 처리 방식으로는 수만 개의 GPU 스레드가 동시에 쏟아내는 데이터 요청 속도를 감당하지 못해, 고성능 GPU를 보유하고도 스토리지 응답을 기다리는 대기 시간이 길어지는 문제가 발생한다.

NVIDIA Vera BlueField-4 STX에 탑재된 NVIDIA Vera CPU는 이러한 데이터 처리 병목을 제거하기 위해 설계된 전용 프로세서다. 벤치마크 결과, 데이터를 두 번 압축하고 암호화하는 2단계 파이프라인 환경에서 Vera CPU는 x86 CPU보다 최대 3.21배 높은 처리량을 기록했다. 이는 스토리지 플랫폼이 AI 데이터의 폭증을 더 효율적으로 수용할 수 있게 하며, 동일 성능 구현을 위해 투입되는 서버와 컴퓨팅 인프라의 물리적 규모를 줄여준다.

이로써 스토리지 인프라는 데이터를 단순히 보관하는 저장소에서 실시간으로 가공해 전달하는 능동적 데이터 경로로 작동한다. NVIDIA STX는 통합 보안 스택인 NVIDIA DOCA(데이터 센터 가속 컴퓨팅 아키텍처)를 활용해 AI 데이터 경로 내에서 보안 정책을 지속적으로 강제할 수 있는 환경을 제공한다. 이를 통해 기업은 데이터 처리 속도를 극대화하면서도 권한 없는 접근을 차단하는 보안 정책을 인프라 수준에서 동시에 수행할 수 있다.

cuFile 오픈소스화와 GPU 직접 스토리지 접근

데이터가 스토리지에서 GPU로 이동할 때 반드시 거쳐야 했던 CPU라는 중간 단계가 cuFile API를 통해 제거된다. NVIDIA는 GPU가 CPU의 개입 없이 스토리지에 직접 데이터를 읽고 쓸 수 있게 하는 cuFile과 하드웨어 제어부터 상위 API까지 이어지는 수직적 스토리지 소프트웨어 스택을 오픈소스로 공개했다. cuFile은 GPU와 스토리지 간 데이터 전송 경로를 최적화하는 GPUDirect Storage의 핵심 구성 요소로 작동하며, 데이터 경로를 단축해 전송 효율을 높인다.

마이크로초 단위의 빠른 데이터 접근은 수십만 개의 GPU 스레드와 고대역폭 메모리를 통해 구현된다. 스레드는 CPU보다 세분화된 작업 단위이며, 고대역폭 메모리는 데이터 전송 통로를 넓혀 방대한 양의 데이터를 처리하는 고속 메모리다. cuFile은 이러한 하드웨어 자원을 병렬로 활용해 데이터 접근 시간을 100만 분의 1초인 마이크로초 수준으로 단축하며, 결과적으로 대규모 데이터셋을 처리하는 AI 모델의 학습과 추론 속도를 결정짓는 데이터 로딩 시간을 줄인다.

이번 오픈소스화에는 Google, Intel, NVIDIA, Meta가 초기 유지 관리자로 참여하여 기술 표준을 이끈다. 이들은 리눅스 운영체제의 모범 사례를 기반으로 보안 중심의 스토리지 스택을 통합하고, 서로 다른 GPU와 데이터 저장 장치 사이의 상호 운용성을 확보하는 데 집중한다. 개발자와 기업은 공개된 API를 통해 각자의 소프트웨어 및 하드웨어 플랫폼에 맞춰 스토리지 접근 방식을 최적화할 수 있으며, 이는 특정 벤더의 폐쇄적 생태계에서 벗어나 공통의 기술 기반을 구축하는 작업이다.

보안은 사용자 애플리케이션과 분리된 별도의 권한 있는 구성 요소를 통해 강제된다. 이 구성 요소는 시스템 설정 단계에서 사용자 애플리케이션과 승인된 스토리지 사이의 보호된 접근 경로를 구성한다. 모든 과정은 표준 리눅스 프로토콜을 준수하며, 권한이 엄격하게 분리된 구조를 통해 GPU가 스토리지에 직접 접근하는 고속 경로를 확보하면서도 시스템 전체의 보안 무결성을 유지한다.

SCADA 프레임워크의 병렬 데이터 추출과 보안 분리 구조

SCADA(Scaled, Accelerated Data Access) 프레임워크는 대규모 병렬 GPU가 애플리케이션 구동에 필요한 데이터만 스토리지에서 고속 메모리로 직접 추출하는 기능을 수행한다. 파일 전체나 대규모 블록 단위로 데이터를 옮기던 기존 방식과 달리, SCADA는 실행에 꼭 필요한 데이터 조각만 선택적으로 가져온다. 이를 통해 수천 개의 GPU 스레드가 동시에 작동하는 환경에서 불필요한 데이터 전송량을 최소화해 메모리 대역폭 낭비를 막고 전송 지연 시간을 물리적으로 제거했다.

보안 취약점을 해결하기 위해 SCADA는 전체 작업 프로세스를 사용자 애플리케이션과 권한 있는 구성 요소라는 두 가지 역할로 엄격하게 분리한다. 사용자 애플리케이션은 신뢰 컴퓨팅 기반의 외부 영역에 배치되어 제한된 인터페이스를 통해서만 데이터 요청을 보낸다. 반면 권한 있는 구성 요소는 보호된 접근 설정을 직접 제어하며 스토리지의 실제 데이터 물리 경로와 접근 권한을 관리해, 외부 애플리케이션이 스토리지 설정에 간섭하거나 권한 밖의 데이터 영역에 접근하는 경로를 차단한다.

데이터 보호와 보안 강제를 위해 SCADA는 표준 리눅스 프로토콜의 준수를 택했다. 리눅스 커널의 보안 모델과 접근 제어 방식을 적용해 시스템 호환성과 신뢰성을 확보했으며, 데이터 접근 제어 리스트나 사용자 권한 관리를 OS 수준에서 강제해 비정상적인 접근 시도를 차단한다. 이로써 보안 정책이 하드웨어 가속 계층과 소프트웨어 제어 계층 전체에 걸쳐 일관되게 적용된다.

이러한 SCADA 프레임워크는 DDN의 Infinia(AI 네이티브 데이터 인텔리전스 플랫폼)에 통합되어 실제 데이터 센터 인프라에 적용된다. Infinia 플랫폼 내에서 SCADA의 병렬 추출 방식과 보안 분리 구조가 작동하며 대규모 AI 데이터셋에 대한 접근 속도를 높인다. 스토리지 제조사의 플랫폼 레벨에서 가속 데이터 접근 기술이 내장됨에 따라 사용자는 복잡한 수동 설정 없이 보안이 확보된 고속 데이터 경로를 즉시 사용할 수 있다.

NVIDIA STX 플랫폼과 CMX 컨텍스트 메모리 스토리지

시스템 메모리 용량의 한계는 AI가 한 번에 기억하는 정보량인 컨텍스트 윈도우의 크기를 제한하며, 이는 대규모 데이터셋 관리 비용을 높이는 물리적 제약이 된다. NVIDIA Vera BlueField-4 STX는 이를 해결하기 위해 모듈형 랙 규모의 파운데이션을 제공한다. 이 플랫폼은 Vera Rubin 플랫폼, BlueField-4 스토리지 프로세서, Spectrum-X 이더넷 네트워킹을 기반으로 구축된다. 개별 서버의 메모리 한계를 넘어 랙 전체를 하나의 자원 풀로 활용함으로써 데이터 공급 인프라의 처리량을 확보하고 확장성을 높였다.

NVIDIA CMX Context Memory Storage는 STX 플랫폼 위에서 작동하는 AI 네이티브 컨텍스트 계층이다. 롱 컨텍스트와 멀티턴, 에이전트 AI 추론에 최적화된 설계를 갖췄으며, GPU 메모리에 모든 데이터를 올리지 않고도 방대한 상태 정보를 유지할 수 있는 중간 저장 계층 역할을 수행한다. AI 팩토리에서 생성되는 데이터셋으로부터 근거 있는 통찰을 효율적으로 추출해 모델에 전달하며, 추론 과정에서 발생하는 메모리 부족 현상을 하드웨어 계층에서 해결한다. 특히 다회차 대화가 이어지는 멀티턴 환경에서 이전 맥락을 빠르게 복원해 응답 속도를 유지한다.

STX와 CMX의 결합은 AI의 데이터 요구량과 물리적 메모리 부족 문제를 해결하는 하드웨어 구조다. 기존 스토리지는 실시간 추론에 대응하기에 너무 느리고, 시스템 메모리는 대규모 문맥을 담기에 너무 작아 데이터가 메모리 범위를 벗어나는 상황이 빈번하게 발생한다. 랙 규모의 인프라와 전용 컨텍스트 메모리 계층을 통해 데이터 폭증 상황에서도 지연 없는 추론이 가능하며, 이는 수천 개의 동시 작업을 생성하고 외부 지식을 실시간으로 참조해야 하는 AI 에이전트가 중단 없이 구동될 수 있는 물리적 기반이 된다.

Storage-Next 이니셔티브와 AI 팩토리의 생산성 기준

데이터를 메모리에 배치할지 혹은 스토리지 드라이브에 저장할지 결정하던 기준이 마이크로초 단위의 처리 속도로 변경된다. 과거에는 데이터 접근 시간을 분 단위로 측정하며 두 영역 사이의 간극을 메웠으나, 현재의 GPU 환경에서는 데이터 전송 경로를 얼마나 최적화하느냐는 효율성 문제로 대체되었다.

NVIDIA는 GPU 기반 스토리지의 동작 방식을 일치시키고 상호 운용성을 확보하기 위해 Storage-Next 이니셔티브를 주도한다. 여기에는 DDN, KIOXIA, Micron을 포함한 40개 이상의 스토리지 및 플래시 벤더가 참여하여 차세대 AI 스토리지 기술을 공동 개발한다. 컨트롤러 벤더, 열 설계 및 냉각 운영사, 표준 기구까지 참여해 하드웨어와 소프트웨어가 유기적으로 작동하는 개방형 산업 표준으로의 전환을 추진하며, 특정 벤더의 폐쇄적 기술에 종속되지 않고 서로 다른 제조사의 장비들이 충돌 없이 데이터를 주고받는 환경을 구축하는 것이 목표다.

AI 인프라의 성공은 조직이 얼마나 많은 서버와 스토리지를 소유했는지가 아니라, 보유한 가속 컴퓨팅 자원을 얼마나 생산적으로 활용하는지에 따라 정의된다. GPU와 데이터 사이의 직접적이고 효율적인 연결 경로를 확보하면 데이터 처리 대기 시간이 줄어들어 데이터 처리 시간이 단축된다. 이는 결과적으로 AI 투자에 투입된 자본 대비 비즈니스 및 재무적 회수율(ROI)을 실질적으로 높이는 결과로 이어진다.

AI 인프라의 핵심 판단 기준은 단순한 저장 용량의 확대가 아니라, GPU와 스토리지 간의 직접 경로(Direct Path) 확보를 통한 추론 지연 시간의 단축이다.