Broadcom과 협력하여 LLM 추론 전용 칩인

초당 약 1,400토큰(tok/sec/user)의 처리 속도는 Kimi-K2.5와 GPT-OSS 모델을 실행할 때 기록된 수치다. OpenAI는 이러한 추론 성능을 확보하기 위해 Broadcom(브로드컴)과 협력하여 LLM(대규모 언어 모델) 추론 전용 칩인 'Jalapeño(잘라페뇨)'를 지난 6월 발표했다.

이 칩은 기존 설계를 수정하는 방식이 아니라 백지 상태에서 LLM 추론만을 위해 독점적으로 설계되었다. 설계 작업은 2024년 중반에 착수되었으며, 전담 팀 채용부터 제조 테이프아웃(tape-out, 설계 완료 후 제조 공정으로 넘기는 단계)까지 소요된 기간은 약 16개월이다. 이는 ASIC(주문형 반도체) 개발 주기 중에서도 극도로 빠른 속도에 해당한다.

DeepSeek R1 모델의 경우 동시성 1 환경에서 사용자당 초당 700토큰 이상의 인터랙티브 성능을 기록했다. Kimi-K2.5와 GPT-OSS 모델 역시 약 1,400 tok/sec/user의 속도로 구동되었다. 이 모든 처리량은 단일 토큰 예측(STP, single-token prediction) 방식을 적용해 달성했다.

기술이 실제로 작동하는 방식

와트당 성능(perf/W) 지표에서 엔비디아 블랙웰(Blackwell)을 비롯한 경쟁사 칩들을 거의 모든 시나리오에서 앞섰다. 여러 토큰을 한 번에 예측하는 MTP(Multi Token Prediction) 기술을 적용하지 않은 상태에서도 높은 전성비를 기록했다. 특히 단일 토큰을 예측하는 STP(Single Token Prediction) 결과에서는 모든 경쟁 제품을 압도하는 수치를 보였다. 저지연 시나리오뿐만 아니라 고처리량 환경에서도 효율적인 작동이 가능하다. 특정 성능 곡선의 지점에 맞춘 튜닝 없이도 전력 소모 대비 연산 효율을 극대화해 추론 운영 비용의 물리적 제약을 낮춘 결과다.

InferenceX(AI 추론 성능 측정 벤치마크) 결과에서 특정 모델에 최적화된 전용 칩이 아니라는 점이 확인되었다. OpenAI 모델에만 특화되었다는 기존 인식과 달리 모든 시나리오에서 높은 성능을 내는 범용 AI 추론 칩으로 설계되었다. Codex(코드 생성 AI) 프롬프트만으로 포팅한 둠(Doom) 게임을 실제로 실행하며 다양한 워크로드 처리 능력을 입증했다. 모든 종류의 모델과 워크로드를 제약 없이 실행할 수 있는 범용성을 확보했다. 특정 하드웨어 최적화에 의존하지 않고도 다양한 AI 환경에서 작동하는 추론 구조를 구현했다.

전성비(perf/W)에 집중하는 이유는 데이터센터의 전력 공급

공식 자료가 확인한 전성비의 우위와 달리, 실제 롱 컨텍스트 환경을 테스트하는 AgentX 벤치마크 결과는 아직 확인되지 않았다. 하지만 OpenAI는 현재 예산이나 공간보다 데이터센터 전력량에 의해 시스템 확장이 제한되는 상황에 직면했다. 이에 따라 MW당 토큰 수(tokens per MW)를 수익과 직접 연결되는 가장 중요한 지표로 설정했다. 전력 효율이 곧 하드웨어의 경제적 가치를 결정하는 구조다.

HBM4(고대역폭 메모리 4)를 탑재한 Jalapeño는 하드웨어와 소프트웨어의 공동 설계(codesign)를 통해 성능을 극대화했다. 투기적 디코딩(speculative decoding)이나 프리필-디코드 분리(prefill-decode disaggregation) 같은 복잡한 최적화 기법을 전혀 사용하지 않았다. 오직 단일 토큰 예측(STP)만으로 고성능을 구현하며 Nvidia와 AMD의 플래그십 GPU와 대등한 수준의 사양을 확보했다.

데이터센터 수익성을 결정하는 실질적인 하드웨어 선택 기준은 단순 토큰 생성 속도가 아닌 MW당 토큰 수(tokens/MW)다.