발표에서 확인된 핵심 사실

23개 작업 중 20개를 해결한 낮은 노력(lowest-effort) 설정이 가장 높은 성공률을 기록했다. Claude Opus 5는 높은 노력(high effort) 설정을 썼을 때 18개를 해결하며 오히려 성적이 떨어졌다. 높은 노력 설정은 오답이 단 1개로 가장 적었지만, 생각하는 시간이 너무 길어 정해진 시간을 넘기는 시간 초과(timeout)가 잦아 0점 처리된 경우가 많았다. 반면 낮은 노력 설정은 오답이 3개였지만 시간 내에 답을 제출해 더 많은 과제를 완수했다.

백만 토큰당 입력 0.14달러, 출력 0.28달러라는 가격표는 DeepSeek-V4-Flash-0731의 API(응용 프로그램 인터페이스, 소프트웨어 간 통신 규칙) 비용이다. Qwen 3.8-Max는 입력 2달러와 출력 6달러, Kimi K3는 입력 3달러와 출력 15달러로 책정되어 모델마다 비용 차이가 뚜렷하다. 출력 비용 기준으로 Kimi K3는 DeepSeek-V4-Flash-0731보다 50배 이상 비싼 가격을 매겼다.

시간과 토큰 예산의 설정 값에 따라 벤치마크 점수는 완전히 다른 결과로 나타난다. 무조건 높은 노력을 투입한다고 정답률이 올라가는 것이 아니라, 제한된 시간 안에 답을 내놓는 효율성이 성패를 가른다. 모델의 성능은 단순한 점수가 아니라 성공한 작업 하나당 투입되는 실제 비용으로 따져봐야 한다.

벤치마크 결과가 측정 도구의 시간 예산 설정에 따라 극명하게

5시간에서 12시간이라는 넉넉한 시간 예산을 잡았을 때와 45분에서 60분으로 제한했을 때의 성적이 완전히 달랐다. Alibaba는 PaperBench(논문 기반 성능 측정 도구) 등에서 실행당 최대 12시간의 타임아웃(응답 대기 시간 제한)을 설정해 높은 성능을 주장했다. 반면 1시간 내외의 실제 측정 시간만 허용한 VulcanBench(독립적 성능 측정 도구)에서는 Qwen 3.8-Max의 기본 설정이 최하위를 기록했다. 시간 예산이 5배에서 16배까지 차이 나면서 벤치마크 결과가 극명하게 엇갈린 셈이다.

단순한 토큰 가격 대신 성공한 작업당 비용을 모델 선택의 새로운 기준으로 제안한다. 이는 정답을 맞히기 위해 실패하며 쓴 모든 비용을 합쳐 최종적으로 통과한 작업 수로 나눈 값이다. 성공한 결과물뿐 아니라 그 과정에서 낭비된 모든 토큰 비용을 포함해 정답 하나를 얻는 데 드는 실제 지출액을 계산하는 방식이다.

시간과 토큰 예산 역시 숨겨진 세부 사항이 아니라 명시적인 수용 기준으로 관리해야 한다. 모델이 답을 낼 때까지 허용할 최대 시간과 토큰 양을 미리 정하고 이를 성능 평가의 필수 조건으로 포함하는 것이다. 예산 설정에 따라 성능이 널뛰는 상황에서 모델의 실질적인 효율성을 판단하는 가장 확실한 검증 장치가 된다.

에이전트 벤치마크 미해결 실행의 주된 원인은 오답보다 시간

79%의 미해결 실행이 시간 초과로 나타났다. 7월에 발표된 Long-Horizon-Terminal-Bench(장기 작업 수행 능력 측정 도구)가 17개 최신 모델을 대상으로 46개 과제를 90분씩 테스트한 결과다. 에이전트가 스스로 멈춘 경우는 19%, 하네스 오류(실행 환경 시스템 오류)는 3%에 불과했다. 정답을 못 찾아서 틀리기보다 주어진 시간을 다 써버려 실패하는 경우가 훨씬 많다는 뜻이다.

해결된 대화당 50센트로 과금 방식을 바꾼 HubSpot(허브스팟)의 Breeze Customer Agent(브리즈 고객 에이전트) 사례가 대표적이다. 기존에는 대화 처리 건당 1달러를 받았으나 이제는 결과가 나왔을 때만 비용을 매긴다. Zendesk(젠데스크)와 Fin(핀) 역시 자동화된 해결이나 최종 결과물을 기준으로 비용을 청구한다. 단순히 AI가 작동한 시간이 아니라 실제 문제를 풀었는지를 기준으로 가치를 매기기 시작했다.

에이전트 실패 원인을 예산 소진(타임아웃), 검증기 실패, 시스템 오류로 세분화해 관리해야 한다. 그래야 모델을 교체하거나 설정을 변경해야 할 정확한 기준을 잡을 수 있다.