지연시간 3.6배 감소와 전력 효율 1.9배 향상

엔드투엔드(End-to-End, 전체 과정) 지연시간을 1.7배에서 3.6배까지 낮춘 사실은 AI 서비스의 응답 속도와 에이전트의 반응성을 직접적으로 바꾼다. 기존 하드웨어 시스템은 단위 시간당 처리하는 데이터 양인 처리량(Throughput)을 높이려면 개별 응답 속도인 지연시간(Latency)의 증가를 감수해야 하는 트레이드오프 관계에 놓여 있었다. OpenAI의 첫 커스텀 칩 Jalapeño는 이 제약을 깨고 두 지표를 동시에 끌어올렸다. 사용자는 더 빠른 응답을 받고 서비스 제공자는 수요가 급증하는 상황에서도 더 신뢰할 수 있는 접근성을 보장받는 구조다.

피크 처리량 상태에서 전력당 AI 작업량은 기존 시스템 대비 1.5배에서 1.9배 증가했다. 특히 사용자와 AI가 실시간으로 빠르게 주고받는 고대화형 워크로드에서는 2.1배에서 4.1배 더 높은 성능을 달성했다. Jalapeño는 전력 효율과 지연시간이라는 상충하는 지표를 동시에 최적화하여 파레토 최전선(Pareto frontier, 더 이상 한 쪽을 희생하지 않고는 다른 쪽을 개선할 수 없는 최적 상태)에 위치한 추론 칩이다. 전력 소모를 억제하면서도 연산 속도를 높임으로써 하드웨어 자원의 물리적 한계를 밀어냈다.

칩 설계 단계부터 인간 개발자와 AI가 모두 예측 가능한 프로그래밍 대상으로 작동하도록 구성했다. 엔지니어는 국소 텐서(Local tensors, 데이터 배열 단위)와 명시적 통신, 그리고 작업의 시작과 끝을 맞추는 예측 가능한 동기화 방식을 사용하여 처리할 작업을 정의한다. AI는 이렇게 정의된 작업이 시스템 전체에서 어떻게 매핑되고 배치되며, 어떤 순서로 스케줄링되고 조정될지를 최적화하는 역할을 맡는다. 이는 전통적으로 매우 까다로운 영역이었던 병렬 프로그래밍 문제를 AI가 해결 가능한 수준의 구조로 변환하여 구현 효율을 높인 결과다.

Jalapeño는 올해 말까지 OpenAI의 컴퓨팅 인프라에 배포될 예정이다. 이 칩은 다세대 로드맵의 첫 번째 세대에 해당하며, 현재 2세대 칩이 심층 개발 단계에 있고 3세대 칩의 형태가 잡히고 있다. 각 세대는 이전 세대에서 얻은 학습 내용을 바탕으로 효율성과 속도를 점진적으로 발전시키는 구조를 가진다. 이러한 하드웨어 최적화의 목적은 점점 더 강력해지는 AI 모델의 운영 비용을 낮추어, 더 많은 사람이 더 저렴하게 고성능 AI를 이용할 수 있는 환경을 구축하는 데 있다.

KV 캐시 로컬 배치와 통합 네트워크 설계

칩 정격 전력은 700W로 설계되었으나 실제 측정된 지속 전력은 550W 이하로 유지된다. 이 하드웨어는 대화형 에이전트와 같은 현대적 언어 모델의 추론 서비스를 주 목적으로 설계되었다. 칩과 메모리, 네트워크, 소프트웨어, 그리고 랙 규모의 시스템을 실제 언어 모델 워크로드에 맞춰 동시에 설계한 결과다.

언어 모델 추론은 단계별로 병목 지점이 서로 다르게 나타난다. 사용자의 프롬프트를 처리하는 Prefill(프리필) 단계는 많은 양의 계산을 수행하는 연산 집약적 과정이다. 반면 응답 토큰을 하나씩 생성하는 Decode(디코드) 단계는 메모리 대역폭, 즉 메모리와 프로세서 사이에서 데이터를 주고받는 통로의 속도에 의해 성능이 결정된다. 코어와 칩 사이에서 데이터가 이동할 때 통신 지연이 발생하며, 이 과정에서 일부 처리 장치가 데이터를 기다리며 아무 작업도 하지 않는 유휴 상태가 된다. 특정 단계에서 연산 성능이 아무리 뛰어나도 데이터 이동이나 모델 상태를 전송하는 과정에서 병목이 생기면 전체 효율이 떨어진다.

데이터 이동과 통신 지연을 최소화하기 위해 KV 캐시(Key-Value cache, 이전 토큰 정보를 저장하는 메모리)를 로컬에 명시적으로 배치했다. 응답 생성에 필요한 모델 상태를 로컬에 유지함으로써, 시스템이 각 추론 단계에 적합한 컴퓨팅, 메모리, 네트워크 조합을 즉각적으로 활성화하게 했다. 네트워크를 아키텍처의 핵심 요소로 통합하여 넓은 도메인을 구축했다. 이를 통해 전체 워크로드가 하나의 연결된 시스템 내부에서 처리되며, 외부로 데이터를 옮기는 과정에서 발생하는 지연을 줄여 요청의 시작부터 끝까지 빠른 속도를 유지한다.

이러한 통합 설계는 모델 아키텍처의 변화에 유연하게 대응할 수 있는 균형 잡힌 가속기를 구현했다. Prefill과 Decode 단계 모두에서 높은 효율을 내며, 특히 두 단계의 처리 비중이 유동적으로 변하는 에이전트 워크로드의 특성에 맞춰 최적화한다. 칩부터 네트워크까지 이어지는 전 과정을 하나의 시스템으로 묶어 데이터 전송에 낭비되는 시간을 줄이고 연산 자원의 활용도를 극대화한 구조다.

120B에서 1T 모델까지 검증된 성능 우위

SemiAnalysis가 공개한 InferenceX 벤치마크는 추론 요청의 시작부터 끝까지 전체 과정을 측정하는 도구다. 이 환경에서 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 모델을 대상으로 성능 테스트를 진행했다. 자사 모델뿐 아니라 외부 오픈 웨이트(모델의 가중치 값이 공개된 형태) 모델에서도 일관된 성능 향상이 확인됐다. 특정 모델 구조에 종속되지 않고 다양한 대형 모델에서 효율을 낼 수 있는 하드웨어의 범용적 설계 능력을 입증한 결과다. 이는 모델 설계부터 칩, 메모리, 네트워크를 함께 최적화하는 풀스택(Full-stack, 전체 계층 통합 설계) 접근 방식의 결과물이다.

테스트 대상 중 가장 규모가 큰 Kimi K2.5 1T 모델에서 성능 격차가 가장 뚜렷하게 나타났다. 기존 비교 시스템과 대조했을 때 전력당 피크 성능은 약 1.5배 향상됐다. 입력부터 최종 출력까지의 전체 시간을 의미하는 엔드투엔드(End-to-End) 지연시간은 3.4배 감소했다. 모델 규모가 120B에서 1T 수준으로 커질수록 데이터 이동량과 연산 부하가 기하급수적으로 증가하는데, 이를 효율적으로 처리하는 아키텍처의 특성이 구체적인 수치로 드러난 것이다.

내부적으로 진행한 OpenAI 프론티어 모델(최첨단 성능을 가진 대규모 모델) 테스트에서는 성능 우위가 더욱 확대되는 경향을 보였다. 모델의 매개변수 규모가 커지고 연산 요구 사항이 까다로워질수록 하드웨어 설계가 주는 이점이 더 크게 작용한다. 이는 워크로드의 규모가 커질수록 연산 집약적인 작업과 메모리 대역폭 제약이 심해지는 병목 현상을 하드웨어 수준에서 효과적으로 해결했음을 의미한다. 규모가 큰 모델일수록 하드웨어 아키텍처의 최적화 효율이 증폭되는 구조다.

동일한 전력과 하드웨어 자원을 사용하면서 더 많은 추론 작업을 수행하면 서비스 제공 비용이 직접적으로 낮아진다. 이는 운영 레버리지(투입 비용의 증가 속도보다 매출 증가 속도가 더 빠른 상태)를 개선하여, 유용한 작업량과 매출이 서비스 비용보다 빠르게 성장하도록 돕는다. 결과적으로 추론 속도의 향상은 단순한 응답 시간 단축을 넘어, 모델의 반복 개선 주기를 앞당기고 더 많은 사용자가 고성능 모델을 사용할 수 있는 환경을 조성하며 지속적인 인프라 투자를 가능하게 한다. 하드웨어 효율 개선이 서비스의 경제적 지속 가능성으로 연결되는 지점이다.

AI가 설계하고 최적화한 9개월의 개발 주기

초기 설계부터 테이프아웃(Tapeout, 설계 완료 후 제조 공정 전달)까지의 전 과정에 9개월이 소요되었다. AI가 구현 방식을 탐색하고 설계와 측정, 검증 루프를 단축하며 모델 워크로드를 지속적으로 반복 개선한 결과다. 특히 AI는 칩의 산술 회로를 최적화해 정해진 일정 내에 더 높은 컴퓨팅 성능 밀도를 칩 내부에 배치했다. 하드웨어 설계에서 가장 많은 시간이 소요되는 검증 단계를 AI로 자동화하여 전체 개발 주기를 압축했다. 이는 설계 변경이 제조 단계로 이어지는 시간을 줄여 하드웨어의 시장 진입 속도를 높이는 실질적인 이득을 제공한다. 설계 단계의 반복 횟수를 줄이면서도 실제 모델 워크로드에 최적화된 배치안을 찾아낸 것이 핵심이다.

Codex와 GPT-Astra를 활용해 당초 생산 계획에 없던 오픈 웨이트 모델 3종을 2개월 만에 고성능으로 최적화했다. 새로운 모델 제품군을 지원하려면 하드웨어의 성능을 최대한 끌어낼 전용 커널(Kernel, 하드웨어 제어를 위한 최하위 소프트웨어)과 모델별 최적화 작업이 필수적이다. AI를 통해 이 복잡한 최적화 과정을 자동화함으로써 아키텍처의 유연성을 확보하고 소프트웨어 스택 구축 속도를 획기적으로 높였다. 계획에 없던 모델을 단기간에 통합한 것은 하드웨어 설계 단계부터 소프트웨어 최적화 가능성을 염두에 둔 유연한 구조를 갖췄음을 보여준다. 개발자가 일일이 코드를 수정하던 기존 방식에서 벗어나 AI가 최적의 구현체를 찾는 방식으로 전환한 결과다.

특정 Attention 및 MoE(Mixture-of-Experts, 입력값에 따라 일부 파라미터만 활성화하는 전문가 혼합 구조) 블록에서 AI가 생성한 구현체는 인간 전문가가 작성한 기존 코드보다 1.5배에서 1.8배 빠르게 작동했다. 이는 칩의 연산 효율을 결정하는 핵심 블록의 최적화 수준을 AI가 직접 끌어올린 사례다. 해당 수치는 전체 모델이 아닌 선택된 특정 블록에만 적용되는 결과지만, 개발자가 수동으로 최적화하던 커널 작성 방식을 AI가 대체할 수 있음을 증명한다. AI가 설계한 하드웨어를 다시 AI가 최적화하는 루프를 통해 인간 전문가의 직관을 넘어서는 성능 구현이 가능해졌다. 이러한 개발 방식은 향후 새로운 모델 아키텍처가 등장했을 때 하드웨어의 대응 속도를 결정짓는 핵심 경쟁력이 된다.

에이전트 워크로드의 비용 구조와 운영 레버리지 변화

AI 에이전트는 복잡한 목표를 달성하기 위해 추론, 외부 도구 호출, 결과 검토 및 수정이라는 여러 단계를 순차적으로 수행한다. 각 단계에서 발생하는 지연시간이 누적되면 전체 작업 완료 시간은 기하급수적으로 늘어나며 사용자는 서비스가 응답하지 않는다고 느낀다. Jalapeño는 단일 아키텍처 내에서 처리량과 지연시간을 동시에 낮춰 이러한 누적 지연을 방지한다. 이는 단순한 속도 향상을 넘어 에이전트가 더 많은 내부 추론 루프를 거치면서도 실시간성을 유지하게 만드는 기술적 토대가 된다.

동일한 전력과 하드웨어 자원 내에서 더 많은 AI 작업을 처리하는 능력은 서비스 제공 비용의 직접적인 절감으로 이어진다. 전력당 성능이 높아지면 서버 한 대가 감당할 수 있는 동시 요청 수가 늘어나며 운영 레버리지가 개선된다. 운영 레버리지는 고정 비용의 증가분보다 매출 증가분이 더 커지는 효율 구조를 의미한다. 추론 비용의 하락은 그동안 하드웨어 제약과 전기료 부담으로 인해 포기했던 고정밀 에이전트 기능을 상용 서비스에 도입할 수 있는 경제적 여력을 제공한다.

OpenAI는 자체 칩 도입 이후에도 NVIDIA 등 파트너사의 가속기를 학습과 추론 워크로드에 계속 병행 사용하는 하이브리드 인프라를 구성한다. 가속기는 AI 연산을 빠르게 처리하는 전용 하드웨어를 뜻한다. 특정 연산에 최적화된 외부 칩과 시스템 전체 효율을 높이는 자체 칩을 적재적소에 배치해 인프라 유연성을 확보하는 전략이다. 현재 생산 적격성 평가와 소프트웨어 성숙도 향상 작업을 진행 중이며 Gen 2와 Gen 3로 이어지는 다세대 로드맵을 통해 하드웨어 효율성과 처리 속도를 지속적으로 고도화할 계획이다.

기존 하드웨어 시스템은 처리량과 지연시간 사이에서 하나를 선택해야 하는 트레이드오프, 즉 상충 관계가 존재했다. Jalapeño는 이 두 지표를 동시에 개선함으로써 모델의 파라미터 수 증가로 인한 성능 향상이 비용 증가로 이어지는 기존의 선형적 관계를 끊어낸다. 전력 효율과 지연시간의 동시 개선은 더 큰 모델을 더 빠르게 구동할 수 있음을 의미하며 이는 곧 에이전트의 지능 수준과 사용자 경험을 동시에 끌어올리는 결과로 나타난다. 하드웨어 레벨의 최적화가 소프트웨어 레벨의 에이전트 워크플로우 설계 자유도를 높이는 구조다.

고성능 에이전트 구현 시 누적 지연시간 문제를 해결하려면 모델 규모 120B에서 1T 사이의 전력당 성능이 1.5배에서 1.9배 개선된 하드웨어 기준점을 확보해야 한다.