GPT-5.6 제품군과 25배의 비용 절감

BrowseComp 벤치마크에서 GPT-5.6 Luna는 1.33달러를 사용하여 84.04%의 성능을 냈으며, 이는 3개월 전 33.27달러를 소모해 84.36%를 기록한 GPT-5.5와 사실상 동일한 수준이다. 동일한 성능을 구현하는 데 드는 비용이 약 25배 낮아지면서 AI 에이전트를 구축하는 경제적 기준이 바뀐다. BrowseComp는 모델이 희귀한 사실을 찾아내는 능력을 측정하는 검색 기반 벤치마크(성능 측정 기준)다. 기존 GPT-5.5의 Extra High 설정은 매우 높은 추론 강도를 사용하여 정확도를 확보했으나, 단일 작업에 33달러가 넘는 비용이 발생하는 운영상의 제약이 있었다.

이번에 출시된 GPT-5.6 모델 제품군은 Luna와 Terra 모델을 통해 플래그십 수준의 성능을 유지하며 운영 비용을 극적으로 낮췄다. Luna와 Terra는 특정 조건에서 이전 세대인 GPT-5.4 및 GPT-5.5와 유사한 성능을 제공하며 비용 효율성을 높였다. 이는 고성능 모델을 사용하면서도 비용 부담 때문에 도입을 망설였던 개발자들이 더 낮은 비용으로 프론티어급 에이전트를 운영할 수 있는 환경을 제공한다. 모델 제품군을 세분화하여 작업의 복잡도에 맞는 모델을 선택할 수 있게 한 점이 비용 절감의 핵심이다.

추론 강도를 낮춰도 정확도가 상승하는 결과가 Agents’ Last Exam 벤치마크에서 확인되었다. GPT-5.6 Sol 모델의 low 추론 설정은 GPT-5.5의 high 추론 성능을 상회했다. 여기서 추론 설정은 모델이 정답을 내놓기 전 내부적으로 사고하는 단계의 깊이를 조절하는 기능이다. 더 적은 계산 자원을 사용하는 low 설정이 이전 모델의 최대 성능인 high 설정보다 높은 정확도를 기록한 것은 모델 내부의 추론 효율이 개선되었음을 보여준다.

실제 서비스 환경에서도 추론 강도 조절을 통한 비용 절감이 구체적으로 나타나고 있다. 초기 테스트부터 제품 적용 단계까지 GPT-5.6을 도입한 스타트업들은 기존 기본값보다 추론 강도를 낮게 설정함으로써 다양한 워크플로우에서 상당한 비용 개선을 보고했다. 최근에는 추가적인 가격 인하가 진행되어 실제 운영 비용은 벤치마크 수치보다 더 낮아진 상태다. 비용 효율성이 확보되면서 더 많은 반복 단계와 복잡한 추론이 필요한 에이전트 설계가 가능해졌다.

추론 효율화를 위한 아키텍처 개입과 ARC-AGI-3

ARC-AGI-3 테스트에서 GPT-5.6 Sol 모델은 표준 설정 시 13.3%의 정답률을 기록했으나, Retained reasoning과 Compaction을 적용하자 38.3%로 상승했다. 모델 자체의 가중치를 변경하지 않고 추론 제어 방식만으로 정답률을 약 3배 높인 결과다. 동시에 출력 토큰 사용량은 약 6배 감소하며 연산 효율을 확보했다.

이러한 성능 변화는 Responses API에 추가된 새로운 프리미티브(기본 제어 단위)를 통해 제어한다. 핵심은 Retained reasoning이라는 기술로, 모델이 복잡한 문제를 풀 때 이전 추론 단계에서 도출한 핵심 내용을 유지하도록 설계되었다. 기존의 추론 방식이 단계가 길어질수록 초기 전제를 잊거나 논리가 흐트러지는 것과 달리, 정답 도출에 필요한 맥락을 명시적으로 보존하여 논리적 일관성을 유지한다.

함께 적용된 Compaction은 추론 과정에서 발생하는 불필요한 토큰을 압축하여 데이터 처리 효율을 높이는 기술이다. Retained reasoning이 정답 도출에 필수적인 핵심 정보를 보존하는 역할이라면, Compaction은 그 외의 중복되거나 무의미한 텍스트를 걷어내어 출력 길이를 줄인다. 두 기술이 상호작용하며 모델은 더 적은 양의 토큰을 생성하고도 더 정교한 논리 구조를 유지하게 된다.

결과적으로 토큰 소비량은 6배 줄었지만 정답률은 3배 가까이 뛰는 효율 개선이 이루어졌다. 이는 추론 비용을 낮추면서도 고난도 논리 문제 해결 능력을 동시에 끌어올린 사례다. 개발자는 Responses API의 제어 단위를 활용해 모델이 생성하는 추론 과정의 밀도를 조정하고, 불필요한 토큰 낭비를 막으면서 정답률을 최적화할 수 있다.

JavaScript 기반 도구 호출과 멀티 에이전트 오케스트레이션

GPT-5.6는 도구 제어를 위해 직접 JavaScript 코드를 작성하고 실행하는 프로그래밍 방식 도구 호출(Programmatic Tool Calling) 기능을 수행한다. 기존 모델이 도구 사용 결과로 나온 모든 중간 데이터를 컨텍스트 윈도우(모델이 한 번에 처리할 수 있는 텍스트 기억 공간)에 담아 다시 읽고 추론했다면, 이 방식은 외부 런타임에서 코드를 실행해 데이터를 처리한다. 예를 들어 100개의 공시 서류를 검색해 특정 날짜로 필터링하고 관련 거래를 식별하는 작업에서 모델이 모든 서류 내용을 컨텍스트에 올릴 필요가 없다. 모델이 작성한 JavaScript가 외부에서 필터링과 정리를 수행하고, 모델은 정제된 최종 결과값만 전달받는다. 모델의 연산 자원을 단순 데이터 가공이 아닌 고도의 판단이 필요한 지능적 영역에 집중시킨 설계다.

독립적인 도구 호출을 병렬로 실행하고 그 처리 결과를 컨텍스트 윈도우 외부에서 관리하는 구조를 도입했다. 여러 개의 외부 API 요청을 동시에 보내고 그 응답을 코드 단에서 즉시 취합함으로써 추론 과정에서 발생하는 불필요한 토큰 소모를 억제한다. 중간 단계에서 발생하는 방대한 원시 데이터가 모델의 제한된 기억 공간을 점유하지 않으므로, 작업 단계가 길어져도 이전 맥락을 놓치지 않고 일관성을 유지할 수 있다. 이는 모델이 모든 데이터를 직접 읽고 처리하던 방식에서 벗어나, 필요한 데이터만 추출하도록 코드를 명령하는 제어 계층으로 진화했음을 의미한다.

Responses API(모델의 응답 생성 및 제어를 담당하는 인터페이스) 내에 멀티 에이전트 기능을 활성화하여 네이티브 수준의 에이전트 오케스트레이션을 구현했다. 주 에이전트 역할을 하는 오케스트레이터(Orchestrator, 전체 작업 흐름을 조율하는 관리자)가 복잡한 과업을 쪼개어 하위 에이전트인 서브에이전트(Subagent, 특정 전문 분야 수행자)에게 위임하는 구조다. 각 서브에이전트는 할당된 세부 작업을 독립적으로 수행하며, 오케스트레이터는 이들이 반환한 개별 결과물을 다시 수집해 하나의 완성된 답변으로 합성한다. 이러한 멀티 에이전트 아키텍처는 ChatGPT의 ultra capability 설정에도 동일하게 적용되어 고난도 문제 해결 성능을 뒷받침한다. API 차원에서 에이전트 간의 위임과 합성 구조를 직접 지원함으로써 개발자가 수동으로 구현해야 했던 복잡한 통신 로직과 상태 관리 부담을 줄였다.

프롬프트 캐시 TTL 확장과 지연 시간 최적화

프롬프트 캐시 TTL(Time To Live, 데이터 유지 시간)은 최소 30분으로 확장되어 적용된다. TTL은 캐시된 데이터가 메모리에서 삭제되기 전까지 유지되는 유효 기간을 의미하며, 이 시간이 길어질수록 동일한 입력값의 재사용 빈도가 높은 서비스에서 캐시 적중률(Cache hit rate, 요청한 데이터가 캐시에 이미 있어 빠르게 반환되는 비율)이 상승한다. 특히 대규모 문서를 반복적으로 참조하거나 복잡한 시스템 프롬프트를 매 요청마다 포함해야 하는 서비스 환경에서 API 호출 효율을 높이는 실질적인 수단이 된다. 이는 사용자와의 세션이 유지되는 동안 동일한 컨텍스트를 반복해서 전송하고 계산하는 낭비를 줄여 운영 비용을 직접적으로 절감한다. 요청 간격이 수 분 단위로 발생하는 대화형 인터페이스에서 캐시 만료로 인한 재계산 비용을 획기적으로 낮춘다.

컨텍스트 윈도우(모델이 한 번에 처리할 수 있는 텍스트 범위) 내에서 캐시 분기점(Cache breakpoints, 캐시를 저장하고 나누는 지점)을 결정론적으로 설정하는 기능이 도입되었다. 기존의 자동 캐싱 방식은 시스템이 임의의 지점에서 데이터를 저장했으나, 결정론적 설정은 개발자가 입력 순서와 구조에 따라 캐시 저장 위치를 정확히 제어하는 방식이다. 특정 지점을 분기점으로 지정하면 해당 지점 이전의 데이터는 고정된 상태로 유지되며, 이후에 추가되는 가변적인 입력 사항만 새로 계산하여 처리한다. 이러한 정밀한 제어는 퓨샷 예시(Few-shot examples, 모델에게 몇 가지 정답 예시를 제공하는 기법)와 같이 고정된 데이터 뒤에 사용자 입력이 붙는 구조에서 중복 계산을 방지해 처리 속도를 높인다. 결과적으로 개발자는 캐시가 어느 지점에서 끊기고 다시 시작되는지를 예측할 수 있어, 프롬프트 설계 단계부터 토큰 최적화 전략을 세울 수 있다.

`prompt_cache_key` 식별자를 사용하면 동일한 추론 엔진(모델의 계산을 실제로 수행하는 하드웨어 및 소프트웨어 시스템)에 요청이 할당될 확률이 높아진다. 일반적으로 분산 컴퓨팅 환경의 API 요청은 여러 엔진에 무작위로 배분되지만, 특정 키를 지정하면 이전에 동일한 접두사(Prefix, 입력문의 앞부분)를 처리했던 엔진으로 요청을 유도할 수 있다. 엔진이 이미 메모리에 로드하여 보유하고 있는 데이터를 그대로 활용하면, 다른 엔진으로 요청이 전달되었을 때 발생하는 데이터 재로드 및 초기화 과정이 생략된다. 이 메커니즘은 요청 후 응답이 시작될 때까지의 지연 시간(Latency)을 단축하여, 실시간 응답성이 필수적인 에이전트 기반 서비스의 전반적인 성능을 개선한다. 동일한 접두사를 공유하는 다수의 요청을 처리할 때, 물리적인 엔진 할당 최적화를 통해 인프라 수준의 병목 현상을 완화하는 효과를 낸다.

에이전트 구축 경제학의 변화와 실무 적용

Luna와 Terra 모델은 테스트 시간 연산량(모델이 최종 답변을 출력하기 전 내부적으로 거치는 추론 계산량)을 조정함으로써 GPT-5.4나 5.5와 유사한 수준의 성능을 구현한다. 이전까지는 여러 단계를 거쳐 해결해야 하는 긴 호흡의 작업(long-horizon use cases)을 수행할 때, 방대한 문맥 유지 능력과 정교한 도구 호출 성능이 검증된 플래그십 모델을 사용하는 것이 사실상 유일한 선택지였다. 5.6 제품군은 소형 모델의 추론 효율을 극대화하여 고성능 모델의 결과물에 근접한 성능을 내면서도, 실제 운영에 투입되는 비용은 획기적으로 낮췄다. 이는 과거 비용 최적화 모델들이 긴 문맥 처리나 도구 호출에서 플래그십 모델보다 현저히 낮은 성능을 보였던 제약을 극복했음을 의미한다.

처리량이 많은 고볼륨 워크로드나 응답 속도가 중요한 지연 시간 민감 상호작용, 에이전트 워크플로 내에서 반복적으로 수행되는 단계는 Luna와 Terra 같은 소형 모델 배치가 가장 효율적이다. 법률 테크 스타트업이 에이전트의 심층 분석을 수행하기 전, 수천 장의 수기 메모를 파싱(문서에서 필요한 정보를 읽어 정형 데이터로 추출하는 과정)하는 전처리 단계가 대표적인 사례다. 전체 파이프라인의 모든 단계에 프론티어 모델(최첨단 성능을 가진 최상위 모델)을 일괄 배치하는 대신, 단순 추출과 같은 반복 단계에만 Terra나 Luna를 적용하면 분석 품질은 유지하면서 운영 비용을 크게 절감할 수 있다.

추론 강도(Reasoning effort, 모델이 정답을 도출하기 위해 투입하는 사고의 깊이)를 세밀하게 조절하면 작업 난이도에 최적화된 비용과 성능의 균형점을 찾을 수 있다. 특히 하위 에이전트를 생성하는 시점과 생성되는 에이전트의 수를 개발자가 직접 지시(Steerable)할 수 있는 제어권을 통해, 불필요한 토큰 지출(텍스트 처리 단위인 토큰 사용량에 따른 비용)을 막는 최적화가 가능하다. 단순한 데이터 정리나 형식 변환은 소형 모델이 처리하고, 최종적인 전략 수립이나 복잡한 결과 합성 단계에만 고성능 모델을 배치하는 아키텍처 설계가 실무적인 비용 최적화의 핵심이 된다.

작업의 성격이 단순 추출이나 반복적 단계라면 Luna와 Terra를 배치하고, 고도의 추론이 필요한 최종 합성 단계에만 플래그십 모델을 사용하는 모델 분리 전략을 적용해야 한다.