NVIDIA Groq 3 LPX 정식 생산과 3,400tps의 성능 지표

NVIDIA Groq 3 LPX가 10만 토큰의 긴 문맥 환경에서 초당 3,400개의 토큰을 생성하며 기존 대체 플랫폼보다 4배 빠른 속도를 구현했다. 이 수치는 방대한 데이터를 읽고 판단해야 하는 에이전트 AI의 응답 지연 시간을 획기적으로 줄여, 개발자가 실시간 상호작용이 가능한 고성능 시스템을 설계하는 선택지를 바꾼다. NVIDIA는 이번 발표를 통해 Vera Rubin NVL72 플랫폼의 확장 모듈인 NVIDIA Groq 3 LPX가 정식 생산 단계에 진입했음을 밝혔다.

구체적인 성능 검증은 오픈 소스 에이전트 모델인 Gemma 4 31B를 활용한 Artificial Analysis 벤치마크를 통해 이루어졌다. 100,000토큰의 롱 컨텍스트(long-context, AI가 한 번에 처리할 수 있는 입력 정보의 양) 환경에서 초당 3,400개의 출력 토큰을 생성하는 결과가 도출되었다. 이는 에이전트 시스템이 여러 데이터 소스에 접근하고 대량의 문맥을 유지하며 다른 AI 시스템과 통신할 때 발생하는 처리 병목을 해결하는 핵심 지표다. 경쟁 플랫폼 대비 4배 빠른 속도는 긴 문맥을 처리할 때 발생하는 시간 비용을 직접적으로 낮춘다.

NVIDIA Groq 3 LPX는 Vera Rubin NVL72 플랫폼과 통합 설계되어 에이전트 워크로드에서 지연 시간을 최소화하도록 작동한다. NVIDIA는 인프라가 단순한 모델 서빙을 넘어 성능과 처리량, 지능의 무결성과 경제적 효율성을 동시에 제공하는 토큰 팩토리(token factory, 토큰을 대량으로 빠르게 생산하는 인프라)로 진화해야 한다고 정의했다. 대규모 컨텍스트 윈도우(context window, 모델이 한 번에 받아들일 수 있는 텍스트 범위)에서도 초고속 응답성을 유지함으로써 서비스 제공자가 인프라 활용도를 극대화하고 운영 비용을 최적화할 수 있게 한다.

이 시스템은 특히 긴 문맥 추론과 멀티 에이전트 시스템의 요구 사항을 충족하기 위해 설계되었다. 에이전트 AI가 복잡한 작업을 수행하기 위해 방대한 배경 지식을 참조하고 단계별로 추론하는 과정에서, 토큰 생성 속도의 향상은 서비스의 실용성을 결정짓는 요소가 된다. NVIDIA는 컴퓨팅과 네트워킹, 추론 가속을 하나의 통합 시스템으로 아키텍처화하여 AI 팩토리의 효율성을 높이는 구조를 구현했다. 이를 통해 대규모 데이터를 처리하는 에이전트 시스템의 응답 속도를 물리적 한계 수준으로 끌어올렸다.

GPU와 LPU의 역할 분담, '익스트림 코드사인'의 작동 방식

랙 규모의 NVIDIA Groq 3 LPX 배포 환경은 256개의 LP30 가속기를 칩-투-칩(chip-to-chip, 칩 간 직접 연결) 방식으로 연결해 구성한다. 이렇게 연결된 가속기 집합은 단일 거대 프로세서처럼 작동하며 결정론적 추론(deterministic inference, 입력에 대해 항상 일정한 처리 시간을 보장하는 추론)을 수행한다. 개별 칩의 성능을 넘어 랙 전체가 하나의 추론 엔진으로 동작함으로써 대규모 AI 팩토리 환경에서 요구되는 예측 가능한 성능을 구현한다.

이 구조의 핵심은 Rubin GPU와 Groq 3 LPX가 모델의 연산 계층을 나누어 처리하는 역할 분담에 있다. Rubin GPU는 대규모 컨텍스트 처리, 즉 모델이 한 번에 읽고 이해해야 하는 방대한 입력 데이터를 처리하는 작업을 전담한다. 반면 LPU(Language Processing Unit, 언어 처리 장치)인 Groq 3 LPX는 디코드(decode, 이전 토큰을 바탕으로 다음 토큰을 하나씩 생성하는 과정) 작업을 가속한다. 에이전트 AI가 도구를 사용하거나 시스템과 상호작용할 때 토큰을 하나씩 생성하는 디코드 단계에서 발생하는 미세한 지연은 전체 작업 체인에서 누적되어 속도를 떨어뜨리는 병목이 된다.

이러한 분리 구조를 가능하게 하는 원리가 하드웨어와 소프트웨어를 통합 설계하는 익스트림 코드사인(Extreme Codesign)이다. 단순히 서로 다른 가속기를 병렬로 배치한 것이 아니라, Rubin GPU와 LPU가 AI 모델의 모든 레이어를 공동으로 계산하도록 설계했다. 소프트웨어 스택이 하드웨어의 물리적 특성을 완전히 제어하여 데이터 이동 경로를 최적화하고 연산 효율을 높이는 방식이다. GPU의 높은 메모리 대역폭과 LPU의 빠른 토큰 생성 능력을 결합해 디코드 지연 시간을 제거하고 에이전트의 응답 속도를 높였다.

Spectrum-X Multiplane이 구현하는 무손실 AI 네트워크

Spectrum-X Multiplane은 일반 범용 이더넷 대비 AI 네트워킹 성능을 1.6배 향상시킨다. 이 기술은 여러 개의 병렬 스위치를 사용하여 고대역폭의 평면적 무손실 네트워크를 구현한다. 평면적 네트워크는 데이터가 거치는 단계인 홉(hop)을 최소화하여 전송 경로를 단순하게 만든 구조다. 데이터 전송 경로가 짧아지면 병목 현상이 줄어들어 대규모 AI 팩토리 내에서 방대한 데이터 흐름을 효율적으로 관리할 수 있다. 범용 이더넷이 일반적인 웹 트래픽이나 파일 전송에 최적화되었다면 이 구조는 AI 모델의 거대 파라미터를 빠르게 주고받는 전용 통로를 제공한다.

플랫폼의 핵심은 NVIDIA Spectrum-X 이더넷 스위치와 SuperNIC, 그리고 전용 소프트웨어의 통합 구성에 있다. SuperNIC은 서버와 네트워크를 연결하는 하드웨어인 네트워크 인터페이스 카드(NIC)의 성능을 극대화한 가속 장치다. 스위치와 NIC, 소프트웨어가 단일 플랫폼으로 묶여 작동하며 이더넷 기반 AI 인프라의 전반적인 효율을 높인다. 개별 하드웨어를 단순히 조합하는 방식이 아니라 설계 단계부터 통합된 플랫폼으로 구축하여 하드웨어 간 통신 오버헤드를 줄였다. 이를 통해 AI 팩토리와 클라우드 환경에서 데이터 처리 속도를 일정하게 유지하며 자원 낭비를 막는다.

네트워크 계층을 추가로 쌓지 않고도 지연 시간(latency, 데이터 전송 시작부터 도착까지 걸리는 시간)과 지터(jitter, 신호 전달 시간의 불규칙한 변동)를 제거한다. 기존 네트워크는 규모를 확장할 때마다 스위치 계층을 추가해야 했으며 이 과정에서 데이터 전달 시간이 불규칙해지는 지터 현상이 심화되었다. Spectrum-X Multiplane은 하드웨어 가속 방식을 통해 데이터가 정해진 시간에 정확히 도착하도록 제어한다. 전송 시간의 예측 가능성을 확보하면 수천 개의 GPU가 동시에 협업하는 분산 학습 환경에서 데이터 동기화를 위해 대기하는 시간을 획기적으로 줄일 수 있다.

AI 팩토리의 규모가 거대해지면서 네트워크는 단순한 연결 통로를 넘어 전체 시스템의 성능을 결정하는 핵심 엔진이 된다. 데이터 패킷 손실이 발생하면 이를 복구하기 위한 재전송 과정이 필요하며 이는 전체 연산 속도를 늦추는 치명적인 원인이 된다. 무손실 네트워크는 패킷 손실을 원천적으로 차단하여 GPU가 데이터 대기 없이 연산에만 집중할 수 있는 환경을 만든다. 대규모 데이터 흐름을 효율적으로 이동시키는 이 구조는 컨텍스트 처리부터 토큰 생성까지 이어지는 AI 파이프라인의 모든 단계에서 전송 효율을 극대화한다.

Nebius부터 SpaceXAI까지, 토큰 팩토리의 실무 적용 사례

Nebius는 NVIDIA Groq 3 LPX를 최초로 도입해 토큰 팩토리(Token Factory, 고속 토큰 생성 전용 인프라)를 구축했다. Vera Rubin NVL72 시스템에 Groq 3 LPX를 결합해 추론 성능을 끌어올린 구성이다. 개발자는 이 환경에서 실시간 응답성이 극대화된 에이전트 AI나 복잡한 코딩 시스템을 대규모로 배포할 수 있다. 사용자의 입력에 즉각 반응해야 하는 인터랙티브 서비스의 경우 토큰 생성 속도가 사용자 경험으로 직결되기에 이러한 전용 팩토리 구조를 사용한다.

CoreWeave는 Spectrum-X Multiplane(병렬 스위치를 활용한 고대역폭 무손실 네트워크)을 실제 생산 환경에 배포했다. 이 시스템은 여러 대의 Vera Rubin 랙을 연결해 AI 클라우드 인프라의 데이터 전송 효율을 높이는 역할을 한다. 대규모 모델을 구동할 때 발생하는 랙 간 통신 병목을 제거하여 전체 시스템이 하나의 거대한 컴퓨터처럼 작동하게 만든다. 실제 서비스 운영 단계에서 네트워크 지연을 최소화해 인프라 가동률을 높인 사례다.

SpaceXAI는 지상 데이터 센터부터 궤도 위성까지 이어지는 차세대 AI 아키텍처를 Vera Rubin 플랫폼 중심으로 구축한다. 특히 Vera CPU를 도입해 에이전트 AI가 수행하는 CPU 집약적 작업을 가속하는 데 집중한다. CPU 집약적 작업은 오케스트레이션(전체 작업 흐름의 계획과 제어), 외부 도구 사용, 코드 실행, 데이터 처리 및 시뮬레이션을 포함한다. GPU가 거대 모델의 연산을 처리하는 동안 Vera CPU는 에이전트의 논리적 흐름을 관리하고 외부 시스템과 통신하는 제어부 역할을 전담해 전체 추론 사이클의 효율을 높인다.

한국 AI 실무자를 위한 에이전트 인프라 전환 가이드

에이전트 AI 시스템은 복잡한 문제 해결을 위해 더 많은 토큰을 생성하고 훨씬 더 큰 컨텍스트 윈도우(입력 데이터의 처리 범위)를 처리한다. 단순한 텍스트 생성을 넘어 추론(Reasoning)과 에이전트(Agentic) 방식으로 작동 방식이 이동하면서 인프라의 요구 사항이 달라졌다. 에이전트 AI는 스스로 계획을 세우고 도구를 사용하며 결과를 검증하는 과정을 반복하므로, 내부적으로 생성하는 토큰의 양이 기존 챗봇 형태보다 압도적으로 많다.

성능 측정 지표는 기존의 처리량(Throughput, 단위 시간당 처리하는 전체 토큰 수)에서 디코드 지연 시간(Decode Latency, 토큰 하나를 생성하는 데 걸리는 시간)으로 전환하여 관찰해야 한다. 에이전트 AI는 여러 단계의 사고 과정을 거치며 스스로 토큰을 생성하므로, 토큰을 하나씩 출력하는 디코드 단계의 지연이 전체 시스템의 병목이 된다. 응답 속도가 느려지면 에이전트 간의 협업이나 사용자와의 상호작용에서 실시간성이 사라져 서비스 품질이 저하된다.

이를 해결하기 위해 GPU 단일 구성이 아닌 역할 분담 구조의 통합 스택을 도입한다. NVIDIA Rubin GPU는 대규모 컨텍스트 처리를 담당하여 입력된 방대한 정보를 빠르게 해석하고, Groq 3 LPX(LPU, 언어 처리 장치)는 지연 시간에 민감한 디코드 작업을 가속하여 토큰을 빠르게 출력한다. Vera Rubin NVL72 플랫폼을 확장한 이 구조는 속도와 처리량 사이의 전통적인 트레이드오프(하나를 얻으면 하나를 잃는 관계)를 제거하도록 설계되었다. 인프라를 단순한 서버 모음이 아니라 토큰을 효율적으로 찍어내는 토큰 팩토리(Token Factory)로 정의하여 지능을 수익으로 전환하는 엔진으로 활용한다.

한국의 AI 실무자는 하드웨어 선택 시 단순한 연산 성능 수치보다 토큰 생성 속도와 GPU 가동률의 상관관계를 우선 확인해야 한다. 컨텍스트 처리 효율이 아무리 높아도 디코드 단계에서 병목이 발생하면 전체 에이전트 워크플로우의 실행 속도는 하위 하드웨어의 성능에 고정된다. 에이전트 AI 인프라의 최종 효율성은 토큰 생성 속도와 GPU 가동률의 상관관계를 최적화하여 디코드 지연 시간을 최소화하는 지점에서 결정된다.