공식 하네스 한계를 극복한 6단계 퍼즐 완전 해결

GPT-5.6 Sol 모델이 Responses API 하네스를 통해 ARC-AGI-3 벤치마크의 모든 6단계 레벨을 해결하며 기존 프론티어 모델들의 한계를 넘어섰다. 리더보드에 기록된 다른 프론티어 모델들이 1단계조차 통과하지 못한 것과 대조적으로, 최적화된 하네스를 적용한 GPT-5.6 Sol은 모든 퍼즐을 완수하는 성과를 냈다. ARC-AGI-3는 AI 에이전트가 명시적 지침 없이 2D 퍼즐 게임의 작동 방식을 추론하고 학습하는 능력을 측정하는 벤치마크다. 성능 지표인 RHAE(Relative Human Action Efficiency) 기준으로 평균 인간 테스터는 48%의 점수를 기록했다.

모델은 테스트 과정에서 자신의 점수를 확인할 수 없으며, 각 프레임의 텍스트 표현과 현재 레벨 정보만을 제공받아 액션을 수행한다. GPT-5.6 Sol은 공식 하네스를 사용했을 때 13.3%의 점수를 기록했으나, 특정 API 설정을 적용한 후 38.3%로 점수를 끌어올렸다. 이는 모델 자체의 파라미터 수정 없이 API 설정과 하네스 설계라는 '실행 묶음'의 변경만으로 성능을 3배 가까이 높인 결과다. 벤치마크 점수가 모델의 순수 지능뿐 아니라 실행 환경에 의해 크게 왜곡될 수 있음을 보여주는 사례다.

이전 응답 ID 전달을 통한 추론 기록 유지(Retained Reasoning)

OpenAI 엔지니어들은 Responses API를 통해 이전 응답 ID(previous response ID)를 전달함으로써 모델의 비공개 추론(Private Reasoning) 기록을 보존하는 설정을 적용했다. 기존 공식 하네스는 매 액션 이후 모델이 생성한 모든 비공개 추론 메시지를 삭제하여, 모델이 매 턴마다 게임 상태를 처음부터 다시 해석해야 하는 구조였다. 모델은 과거의 이동 경로와 짧은 메모는 볼 수 있었지만, 해당 행동을 결정하게 만든 구체적인 계획이나 통찰은 기억하지 못했다. 이로 인해 모델은 이전 단계에서 얻은 깨달음을 다음 단계로 전이시키지 못하고 정체되는 현상을 보였다.

Responses API의 추론 기록 유지 설정을 활성화하자 GPT-5.6 Sol은 매 턴마다 게임을 제로 베이스에서 해석할 필요가 없어져 액션 전 생각하는 시간이 직접적으로 감소했다. 모델은 과거의 사고 흐름을 그대로 이어받아 다음 액션을 결정함으로써 장기적인 관점에서 일관된 전략을 수행할 수 있게 되었다. 이는 모델이 최종 답변이나 도구 호출 전 단계에서 생성하는 비공개 사고 메시지를 대화 이력의 일부로 포함시켜 보존했기에 가능했다. 결과적으로 모델은 과거의 시행착오를 통해 얻은 교정 데이터를 바탕으로 논리적 일관성을 유지하며 목표에 접근했다.

롤링 절단 방식을 대체한 컨텍스트 압축(Compaction)의 효율

Responses API의 압축(Compaction) 설정은 175,000 토큰의 컨텍스트 윈도우 제한을 관리하는 방식을 롤링 절단(Rolling Truncation)에서 요약 기반 보존으로 변경했다. 롤링 절단 방식은 컨텍스트가 175,000자를 초과할 때 가장 오래된 메시지부터 순차적으로 삭제하여, 게임 초기 단계의 핵심 관찰 기록과 액션 데이터를 소멸시켰다. 모델은 규칙 파악의 근거가 되는 초기 데이터를 잃어버려 이미 실패한 경로를 다시 탐색하거나 기본 전제를 망각하는 문제를 겪었다. 또한 컨텍스트 윈도우가 가득 찬 상태로 작동하며 발생하는 연산 부하로 인해 추론 성능이 미세하게 저하되는 특성이 나타났다.

압축 설정을 적용한 GPT-5.6 Sol은 오래된 데이터를 무조건 삭제하는 대신 핵심 맥락을 요약하여 보관함으로써 출력 토큰 사용량을 기존 대비 6배 감소시켰다. 정보 밀도를 높인 요약본을 통해 모델은 더 적은 토큰으로도 더 많은 과거 정보를 참조할 수 있게 되었으며, 장기 실행 시 학습 내용을 더 효과적으로 보존했다. 특히 액션 그리드 데이터가 토큰화 비율 1:1로 처리되는 환경에서, 압축 설정은 모델이 처리해야 할 실제 토큰 수를 줄이면서도 필요한 정보는 유지하는 효율적인 메모리 관리 체계를 구축했다. 이를 통해 모델은 과거의 시도와 실패를 요약된 기억으로 참조하며 더 정교한 추론을 이어갔다.

범용 하네스와 최적화 하네스의 설계 철학 차이

ARC-AGI-3의 공식 하네스는 도구와 특수 기능을 배제한 범용 설계를 통해 모델의 결함을 명확히 드러내고 공정한 비교를 수행하는 것을 목적으로 한다. 반면 상용 개발사는 모델의 특성과 쿼크(quirks)에 맞춰 하네스를 최적화하여 실제 제품 환경에서의 성능을 극대화하는 전략을 취한다. GPT-5.6 Sol은 이미 최적화된 하네스를 통해 Pokémon FireRed(비전 전용 하네스), Slay the Spire(Codex 컴퓨터 사용 하네스), Baba Is You(초기 단계) 등 복잡한 게임 환경을 해결하며 그 능력을 입증했다. 특히 지식 학습 중단 시점 이후 출시된 Slay the Spire 2의 랜덤 데일리 챌린지를 해결한 사례는 최적화된 인터페이스가 모델의 적응력을 어떻게 높이는지 보여준다.

공개 벤치마크에서 모델이 예상보다 낮은 점수를 기록하는 주요 원인은 평가 실행자가 추론 메시지를 누락시키는 범용 하네스를 사용하기 때문이다. 범용 하네스는 다양한 모델에 동일하게 적용하기 위해 최소 기능만 갖추고 있어, 모델이 내부적으로 생성한 사고 과정이 다음 단계로 전달되지 않고 삭제된다. 결국 벤치마크 수치는 모델의 순수 지능뿐 아니라 API 설정, 하네스 설계, 프롬프팅이라는 보이지 않는 선택들의 결합물을 측정하는 결과가 된다. 모델의 잠재력을 완전히 끌어내기 위해서는 제품 배포 환경과 동일한 설정의 하네스 구축이 필수적이다.

AI 엔지니어를 위한 성능 검증 및 API 적용 기준

모델의 실질적인 추론 능력을 검증하려는 엔지니어는 단순 벤치마크 점수가 아닌, 실제 배포 설정이 반영된 '실행 묶음'의 지표를 신뢰 기준으로 삼아야 한다. 특히 ARC-AGI-3와 같은 고난도 추론 태스크에서는 API 설정 하나가 점수를 3배 이상 왜곡할 수 있으므로, 다음의 검증 기준을 적용하여 성능을 측정할 것을 권장한다. 첫째, Responses API 사용 시 이전 응답 ID(previous response ID)를 명시적으로 전달하여 비공개 추론 기록이 대화 이력에 유지되는지 확인한다. 둘째, 롤링 절단 대신 압축(Compaction) 설정을 활성화하여 175,000 토큰 제한 내에서 핵심 맥락이 요약 보존되는지 검증한다.

직접적인 성능 검증이 필요한 경우 arcprize.org/tasks에서 제공하는 공개 퍼즐 게임 세트를 활용해 모델의 추론 유지 능력을 테스트할 수 있다. 모델의 지능을 평가할 때 범용 하네스의 결과값에 의존하기보다, 이전 응답 ID 전달을 통한 추론 유지와 요약 기반의 컨텍스트 관리 설정이 적용된 상태의 지표를 확인해야 한다. 결론적으로 프론티어 모델의 성능 최적화는 모델 체급의 선택만큼이나 API의 컨텍스트 관리 방식과 하네스 설계라는 실행 환경의 최적화에 달려 있다.