x86 대비 1.8배 빠른 성능, 에이전트 전용 CPU Vera 공개

챗GPT 같은 AI가 직접 코드를 짜고 실행하며 문제를 해결하는 AI 에이전트 시대가 왔다. 하지만 AI가 내린 명령을 수행하는 CPU가 느리면 고가의 GPU는 작업이 끝나기만을 기다리며 자원을 낭비하게 된다. 엔비디아는 이러한 병목 현상을 해결하기 위해 단일 스레드 성능을 극대화한 에이전트 전용 CPU인 NVIDIA Vera를 공개했다.

NVIDIA Vera는 대규모 환경에서 단일 스레드 성능을 최대로 끌어올린 'Max single-threaded CPU at scale' 범주의 프로세서다. 에이전트 실행 워크로드에서 기존 x86 서버 CPU 대비 1.8배 높은 지속 단일 코어 성능을 제공한다. 데이터센터의 핵심 자원인 GPU가 CPU 처리 속도 때문에 대기하는 시간을 줄여 AI 팩토리의 전체 수익성과 에이전트 성능을 동시에 높이는 것이 설계 목적이다.

이 CPU는 총 88코어로 구성되어 AI 모델이 명령한 도구 호출, 코드 실행, 데이터 처리, 결과 분석을 수행한다. 특히 LLM의 추론 속도를 높이기 위해 이전 계산 값을 저장하는 KV-캐시(Key-Value Cache) 처리 과정에도 투입된다. AI 에이전트는 모델이 다음 단계를 추론하면 CPU가 도구를 사용해 결과를 만들고, 모델이 다시 그 결과를 보고 다음 행동을 결정하는 루프 형태로 작동한다. 이 과정은 앞 단계의 결과가 나와야 다음 단계로 넘어가는 순차적 구조를 가지므로, 코어 개수보다 단일 코어의 처리 속도가 전체 실행 시간을 결정하는 핵심 변수가 된다.

Olympus 코어와 3.4TB/s 대역폭이 만드는 '에이전트 루프' 가속

NVIDIA는 AI 에이전트의 실행 단계를 가속하기 위해 커스텀 CPU 코어인 Olympus를 설계했다. Olympus는 사이클당 명령어 처리 수인 IPC(Instructions Per Cycle)를 기존 NVIDIA Grace 대비 50% 향상했다. 개별 코어의 IPC를 높여 순차적으로 진행되는 에이전트 루프의 한 주기당 소요 시간을 물리적으로 줄였다.

메모리 시스템은 LPDDR5X 기준 최대 1.2TB/s의 대역폭을 제공하며 전력 소모는 40W 미만으로 억제했다. 저전력 설계를 유지하면서 대폭 늘린 대역폭을 통해 고성능 코어에 데이터를 빠르게 공급함으로써, 메모리 전송 속도 저하로 인해 CPU가 대기 상태에 빠지는 병목 현상을 제거했다.

물리적 구조에서는 하나의 실리콘 판에 모든 회로를 구현한 모놀리식 컴퓨트 다이(Monolithic Compute Die) 방식을 채택했다. 이를 통해 코어 간 대역폭을 일반적인 데이터센터 CPU보다 3배 높은 3.4TB/s까지 구현했다. 칩을 여러 개로 쪼개 연결하는 방식에서 발생하는 데이터 전송 지연을 없애, 88개의 모든 코어가 간섭 없이 최대 성능을 내도록 했다.

이러한 설계는 데이터 이동 경로를 단순화하고 코어당 처리 능력을 극대화해 에이전트가 다음 단계로 넘어가는 시간을 단축한다. 결과적으로 CPU가 GPU의 연산 결과를 기다리게 하거나, GPU가 CPU의 작업 완료를 기다리는 유휴 시간을 최소화한다.

코어 수 경쟁에서 단일 코어 속도 중심으로 설계 방향 전환

기존 데이터센터 CPU는 클라우드 렌탈 코어당 비용을 최적화하기 위해 개별 코어의 성능보다 전체 코어 수를 늘리는 방향으로 발전했다. CPU 제조사는 칩 면적을 효율적으로 사용하고자 고성능 메모리 패브릭과 코어당 명령어 처리 면적을 축소했으며, 이는 개별 코어가 낼 수 있는 최대 속도를 희생시킨 결과였다.

특히 제조 단가를 낮추기 위해 도입한 칩렛(Chiplet) 구조는 '칩렛 세금(Chiplet Tax)'이라 불리는 성능 손실을 발생시킨다. 개별 코어가 칩 전체의 메모리 성능을 온전히 활용하지 못하고 데이터 전송 과정에서 병목을 겪으면서, 코어 숫자는 늘었지만 개별 작업의 완결 속도는 오히려 늦어졌다.

반면 에이전트 작업은 수많은 에이전트가 지속적으로 실행되며 각 단계의 체인을 빠르게 통과해야 하는 특성을 보인다. 코어 수를 늘리면 동시에 처리하는 작업 수는 늘릴 수 있지만, 단일 작업의 단계별 완료 시간을 단축할 수는 없다. 오히려 코어 수가 너무 많으면 한정된 자원을 두고 코어끼리 경쟁하며 개별 성능이 떨어지기도 한다.

Vera는 모든 코어가 다른 코어의 간섭 없이 최대 성능을 내도록 설계하여 이러한 자원 경쟁을 제거했다. 코어 수를 늘려 처리량을 높이는 기존 방식 대신, 개별 코어가 메모리 성능을 온전히 활용해 독립적으로 빠르게 작업을 끝내는 데 집중했다. 이를 통해 에이전트의 순차적 작업 단계를 빠르게 통과시켜 GPU의 유휴 시간을 줄이고 AI 팩토리의 자원 효율을 높였다.

Perplexity 코딩 1.5배 가속 및 SQL 분석 3배 향상 실측

Perplexity는 실제 에이전트가 수행하는 코딩 워크플로우를 통해 Vera의 성능을 측정했다. 코드 저장소(리포지토리)를 클론하고 샌드박스에서 테스트 슈트를 실행하는 과정에서 Vera는 x86 서버 CPU 대비 작업 완료 시간을 약 1.5배 단축했다. 특히 여러 개의 샌드박스를 동시에 시작하는 속도는 최대 1.9배 향상되었다.

데이터 처리 성능에서도 유의미한 결과가 나왔다. 에이전트는 작업을 수행하며 정보를 쿼리하고 추출하며 필터링하는 CPU 기반 워크로드를 반복한다. Starburst의 실측 결과, 대규모 SQL 분석 속도가 x86 대비 3배 향상되었으며, Redpanda 환경에서는 데이터 전송 지연 시간(Latency)이 최대 6배 감소했다. 이는 에이전트가 외부 도구로 데이터를 가져와 분석하는 단계의 대기 시간을 줄여 전체 응답 속도를 높였음을 보여준다.

AI 팩토리 운영 관점에서 CPU 처리 속도는 GPU 자원 활용률과 직결된다. 기존에는 도구 호출, 샌드박스 실행, 데이터 처리 등 작업 특성에 맞춰 서로 다른 CPU 사양을 구성해야 했으나, Vera는 단일 아키텍처로 이 모든 범위를 처리한다. 단일 코어 성능을 극대화해 에이전트 루프의 회전 속도를 올림으로써, 연산 능력이 높은 GPU가 CPU의 작업 완료를 기다리며 멈춰 있는 시간을 최소화해 데이터센터의 전체 연산 효율을 높였다.

Vera Rubin 통합 아키텍처와 차세대 Rosa-Rigel 로드맵

NVIDIA는 GPU 호스트 CPU인 NVIDIA Vera Rubin과 스토리지 프로세서인 NVIDIA BlueField-4 STX에 동일한 CPU를 적용했다. 서로 다른 역할을 수행하는 하드웨어들이 하나의 CPU 설계를 공유하는 통합 구조를 통해 AI 팩토리 전체 인프라의 이질성을 제거했다.

단일 아키텍처 적용은 단일 툴체인(Toolchain) 운영이라는 실질적인 이점으로 이어진다. GPU 서버와 스토리지 프로세서가 동일한 명령어 집합과 최적화 방식을 공유하므로, 인프라 엔지니어는 CPU 모델마다 최적화 코드를 중복 작성할 필요가 없다. 하나의 표준화된 도구만으로 데이터 이동부터 연산까지 전체 파이프라인을 일관되게 제어해 운영 오버헤드를 줄인다.

NVIDIA는 차세대 Rosa CPU 로드맵을 통해 성능 고도화를 예고했다. Rosa에 탑재될 Rigel 코어는 Arm v9.2 기반으로, 기존 Olympus 코어와 동일한 실리콘 면적을 유지하면서 코어당 처리 성능을 높였다. 명령어 전달 방식 최적화, L2 캐시 용량 확대, 메모리 핸들링 효율 개선을 통해 에이전트 루프의 병목을 하드웨어적으로 해결했다.

이러한 로드맵은 AI 에이전트의 작업 특성이 다핵화된 처리량보다 개별 단계의 빠른 완료에 의존한다는 분석에 기반한다. Rigel 코어의 향상된 명령어 처리 능력과 확대된 캐시 메모리는 데이터 분석이나 코드 실행 같은 순차적 작업 시간을 단축하며, 결과적으로 AI 팩토리가 더 적은 대기 시간으로 GPU 자원을 최대한 활용하는 환경을 구축하게 한다.

AI가 답을 내는 수준을 넘어 스스로 코드를 실행하는 에이전트로 진화하면서, 시스템 전체의 속도는 GPU가 아닌 CPU의 단일 코어 성능에 의해 결정된다. NVIDIA Vera는 x86 대비 1.8배 높은 성능과 3.4TB/s의 대역폭으로 GPU의 유휴 시간을 제거해 AI 팩토리의 자원 낭비를 막는다.

AI 인프라의 효율은 이제 코어의 개수가 아니라 단일 코어의 처리 속도로 판단해야 한다. 실제 코딩 및 데이터 분석 시간을 1.5배에서 6배까지 단축하려면 CPU 병목을 제거하는 하드웨어 기준을 최우선으로 검토해야 한다.