기술 제원 및 공개 범위

OpenAI API의 새로운 서비스 계층으로 도입된 'Ultrafast Mode'는 GPT-5.6 Sol 모델에서 품질 저하 없이 초당 최대 750개의 출력 토큰을 제공한다. Cerebras가 추론 인프라를 담당하며, 현재 일부 고객을 대상으로 제한 공개 중이다. 이용 가능 범위는 인프라 용량이 증가함에 따라 단계적으로 확대될 예정이다.

이 서비스 계층은 모델의 지능 수준을 유지하면서 응답 시간을 단축하는 데 초점을 맞췄다. 기존의 대형 모델 추론 환경에서는 높은 품질을 얻기 위해 긴 대기 시간을 감수하거나, 빠른 응답을 위해 품질을 낮춘 모델을 선택해야 하는 절충안이 강요되었으나, Ultrafast Mode는 이 제약을 완화하는 것을 목표로 한다.

웨이퍼 스케일 엔진의 추론 구조와 성능

인프라의 핵심은 Cerebras의 웨이퍼 스케일 엔진(Wafer-Scale Engine) 아키텍처다. 일반적인 GPU 기반 추론은 다음 토큰을 생성할 때마다 모델 가중치를 온칩 메모리와 외부 저장 장치 사이에서 반복 전송해야 하므로 메모리 대역폭이 병목 지점이 된다. 이를 해결하기 위해 웨이퍼 크기 칩마다 44GB SRAM을 탑재하여 모델 가중치를 칩 내부에 유지하고, 여러 웨이퍼에 파이프라인으로 배치된 모델 계층을 따라 토큰을 중단 없이 전달하는 구조를 채택했다.

성능 검증은 2026년 7월 31일 Codex의 medium 추론 설정에서 수행됐다. 박사급 전문 지식을 요구하는 2,500개 문항의 Humanity’s Last Exam(HLE) 벤치마크에서 GPT-5.6 Sol Ultrafast는 전체 문항을 11시간 11분에 처리했다. 이는 비슷한 정확도를 기록한 Claude Fable 5의 처리 시간인 78시간 27분보다 약 7배 빠른 수치다. Artificial Analysis가 보고한 출력 속도 기준으로도 Fable 5보다 11배, Opus 4.8 Fast보다 5배 빠른 것으로 나타났다.

지식 노동의 효율성은 GDP-Val 측정 결과에서 확인된다. 법률 문서, 금융 모델, 엔지니어링 보고서 처리 작업에서 기본 모드와 동일한 품질을 유지하면서 종단 간 5.6배의 속도 향상을 기록했다. 이는 모델 크기 증가에 따른 계산 및 데이터 이동 비용 상승으로 발생하는 지연 시간을 하드웨어 구조 변경으로 억제한 결과다.

실시간 추론의 활용과 도입 영향

실시간 대응이 필요한 영역에서 빠른 추론 속도는 작업 흐름을 바꾼다. 웹 서비스 운영 기업은 프로덕션 장애 발생 시 근본 원인을 분석하고 복구하는 경로에 이 모델을 배치해 SLA(서비스 수준 협약)에 영향을 주는 중단 시간을 줄일 수 있다. 보안 팀의 경우 고위험 사이버 공격의 악의적 행위를 빠르게 탐지하고 대응함으로써 잠재적 손실을 억제하는 용도로 활용 가능하다.

에이전트의 역할 또한 실시간 정보 제공이 가능해짐에 따라 변화한다. 사용자가 여러 병렬 세션을 오가며 겪는 문맥 전환(Context Switching) 비용이 줄어든다. OpenAI 연구자 Jeffrey Wang은 기존에 몇 분씩 기다려야 했던 작업이 문맥을 전환하기 전에 완료되어 생산성이 높아졌다고 평가했다. 연구자와 엔지니어는 핵심 문제 해결에는 Ultrafast Mode를 쓰고, 일반적인 병렬 처리 작업에는 기존 Standard 모드를 혼용하는 방식으로 운영할 수 있다.

개발자가 도입 시 판단해야 할 핵심은 작업의 '시간 민감도'와 '비용 효율'의 분리다. 모든 워크로드를 가속하는 대신, 장애 복구나 실시간 탐지처럼 응답 지연이 직접적인 매출 손실이나 보안 사고로 이어지는 핵심 처리 경로(Critical Path)에만 Ultrafast Mode를 우선 배치하고 나머지 일반 작업은 Standard 모드로 유지하는 이원화 전략이 필요하다.