Jalapeño 칩의 벤치마크 성능과 자체 실리콘 확보의 의미

OpenAI가 첫 자체 추론 칩인 Jalapeño를 공개하고 성능 측정 결과를 발표했다. Jalapeño는 GPT-OSS 120B 모델을 사용한 공용 벤치마크 InferenceX에서 상용 시스템보다 높은 킬로와트당 피크 처리량과 더 낮은 토큰 지연 시간을 기록했다. 해당 칩은 DeepSeek R1과 Kimi K2 모델에서도 강한 성능을 보이며 특정 모델 제품군에 국한되지 않는 범용적 효율성을 입증했다. OpenAI는 자체 실리콘을 통해 모델 구동 방식과 서비스 제공 경제성을 외부 솔루션 의존 없이 직접 제어하는 경로를 확보했다.

OpenAI는 측정 결과가 확인된 초기 모델을 넘어 이미 다음 세대 칩 개발 단계에 진입했다. 자체 칩 확보는 파트너사의 가속기를 사용하는 기존 경로와 병행하여, 각 워크로드에 최적화된 시스템을 경제적 관점에서 매칭할 수 있는 능력을 확장한다. 이는 하드웨어의 절대적 성능 수치보다 전력당 처리량과 같은 실질적 효율 지표를 통해 서비스 운영 비용을 낮추는 직접적인 기제로 작용한다. 결과적으로 OpenAI는 하드웨어 제어권을 통해 추론 비용의 변동성을 줄이고 서비스 공급 능력을 강화했다.

모델-소프트웨어-하드웨어를 묶는 풀스택 공동 설계 전략

OpenAI는 모델, 서빙 소프트웨어, 칩, 메모리, 네트워크를 하나의 시스템으로 통합하여 설계하는 공동 설계(Co-design) 전략을 추진한다. 이 전략은 개별 부품의 성능을 높이는 단일 최적화가 아니라, 데이터가 흐르는 전체 경로를 동시에 최적화하여 처리량, 지연 시간, 에너지 효율, 비용을 한꺼번에 개선한다. 소프트웨어의 효율성 증대는 하드웨어의 생산성을 높이며, 특정 워크로드에 최적화된 하드웨어는 다시 전체 시스템의 연산 속도와 효율을 끌어올리는 구조를 만든다.

더욱 정교해진 모델은 더 나은 제품 구현을 가능하게 하며, 이는 사용자 수요와 이용량 증가라는 결과로 이어진다. 실제 환경에서 발생하는 사용 신호와 데이터는 다시 시스템 설계 단계로 유입되어 모델과 하드웨어 성능을 재차 개선하는 피드백 루프를 형성한다. OpenAI는 이러한 통합 설계를 통해 모델의 추론 요청을 처리하고 응답을 전달하는 서빙 소프트웨어와 물리적 칩 사이의 병목 현상을 제거했다. 시스템 전체가 함께 개선될 때 AI의 발전 속도가 가장 빠르게 복리로 증가한다는 판단에 기반한 설계 방식이다.

Project Camellia를 통한 워크로드 중심 인프라 구축

OpenAI는 조지아주에 Project Camellia 데이터센터를 조성하여 워크로드 중심의 시설 설계 사례를 구현했다. 이 시설은 고객의 실제 작업 특성에 맞춰 인프라를 설계했으며, 폐쇄 루프(closed-loop) 수냉 시스템을 도입해 수자원 낭비를 방지하고 환경 영향을 최소화했다. 또한 지역 사회의 일자리 창출과 지역 기업 지원, 프로젝트 인프라 및 에너지 비용 충당을 설계 구조에 포함했다. 운영의 투명성과 신뢰성을 확보하기 위해 매년 독립적인 공공 감사를 실시하여 약속 이행 여부를 검증받는다.

데이터센터는 단순한 서버 수용 공간이 아니라 시스템 전체의 레버리지를 높이는 핵심 지점이다. OpenAI는 시설 설계 단계부터 에너지 공급과 냉각 효율을 최적화하여 단위 컴퓨팅 자원당 생산되는 유용한 지능의 양을 극대화했다. 이는 하드웨어 칩의 효율뿐만 아니라 전력 공급 체계와 물리적 인프라가 통합되어야만 서비스 제공 비용을 실질적으로 낮출 수 있다는 전략적 판단을 반영한다. 인프라의 효율적 설계는 결국 사용자에게 더 낮은 비용으로 고성능 AI 서비스를 제공하는 기반이 된다.

파트너 포트폴리오 다변화와 파레토 최전선 유지 전략

OpenAI는 마이크로소프트의 컴퓨팅 자원과 엔비디아의 칩을 넘어 AWS, AMD, 브로드컴, 세레브라스, 코어위브, 오라클, SB 에너지, 소프트뱅크로 파트너 포트폴리오를 확장했다. 각 파트너는 클라우드 인프라, 가속 컴퓨팅, 저지연 추론, 데이터센터 개발, 에너지 공급 등 서로 다른 기술적 강점을 제공한다. OpenAI는 프론티어 모델 학습, 대량 추론, 상시 가동 에이전트 등 워크로드별로 서로 다른 요구 사양을 분석하여 최적의 하드웨어 조합을 결정한다.

OpenAI의 목표는 성능, 속도, 신뢰성, 효율성, 비용의 다섯 가지 요소 중 특정 워크로드에서 가장 중요한 지표를 우선순위에 두는 파레토 최전선(Pareto frontier)을 유지하는 것이다. 역량이 최우선인 고성능 작업에는 프리미엄 시스템을 배치하고, 규모와 비용 효율이 중요한 작업에는 효율 최적화 시스템을 나누어 배치한다. 공급망을 다변화함으로써 특정 벤더의 공급 부족이나 가격 변동 리스크를 분산하고, 시장 상황 변화에 따라 수요를 가장 성능 대비 비용이 좋은 시스템으로 유도하는 가격 규율을 유지한다.

GPT-5.6 Sol의 효율성과 지능의 경제적 확장

GPT-5.6 Sol 모델은 Artificial Analysis Coding Agent Index에서 최대 추론 모드를 통해 경쟁 선도 모델 대비 출력 토큰을 54% 적게 사용하면서도 최고 성능 점수에 도달했다. 이는 모델의 지능이 향상되어 정답에 도달하기 위한 시도 횟수가 줄어들고 불필요한 추론 과정이 생략됨으로써 연산 자원 소모가 감소했음을 의미한다. 스마트 라우팅과 컨텍스트 관리를 통해 낭비되는 연산 작업을 제거함으로써, 에이전트는 더 길고 복잡한 워크플로우를 완수하고 재시도 횟수를 줄여 성공적인 작업 완료를 위한 총비용을 낮췄다.

이러한 효율성 증가는 기술적 효율이 오히려 자원 소비를 확대해 새로운 경제 활동을 창출하는 제본스의 역설(Jevons paradox)로 이어진다. 달러당 유용한 지능의 양이 증가하면 기업은 모든 고객에게 맞춤형 분석을 제공하거나 수만 건의 계약서를 전수 검토하고 실시간 재무 시나리오를 가동하는 등 과거에 비용 문제로 포기했던 작업들을 경제적으로 실현할 수 있다. 더 생산적인 컴퓨팅과 경쟁력 있는 공급망은 서비스 비용을 낮추고, 여기서 발생한 성장은 다시 연구 개발과 인프라, 안전성 강화에 재투자되는 복리 구조를 만든다.

결국 AI 실무자는 모델의 단순 벤치마크 점수가 아니라 '달러당 유용한 지능'이라는 효율성 지표를 기준으로 모델을 선택해야 하며, 워크로드 특성에 맞춰 성능과 비용의 최적 접점인 파레토 최적 기준의 인프라를 구성하여 비용 효율을 극대화해야 한다.