facts

모델의 추론 능력보다 이를 제어하는 환경의 설계가 에이전트의 성패를 가른다. 엔비디아(Nvidia)는 최근 연구를 통해 장기 과제(Long-horizon tasks) 수행 시 모델 자체의 성능보다 '하네스(Harness)'라 불리는 제어 체계가 더 결정적인 역할을 한다는 사실을 입증했다.

이번 연구의 핵심 지표는 인터랙티브 추론 벤치마크인 ARC-AGI-3의 결과다. 하네스 없이 단독으로 구동했을 때 Claude Opus 5는 30%의 점수를 기록하며 테스트 모델 중 가장 높은 성적을 냈으나, 엔비디아가 설계한 커스텀 하네스를 적용하자 점수가 100%로 상승했다. 여기서 하네스는 모델을 둘러싼 스캐폴딩(Scaffolding), 즉 모델이 사용하는 도구 세트, 런타임, 관련 기술 및 라이브러리를 모두 포함하는 개념이다.

장기 과제는 단일 프롬프트에 응답하는 것이 아니라, 며칠에 걸쳐 수많은 결정을 연속적으로 내려 결과물을 완성해야 하는 작업을 의미한다. 엔비디아는 이러한 과제에서 모델이 방향을 잃지 않도록 메모리 관리와 컨텍스트 제어, 피드백 루프를 처리하는 하네스의 중요성을 강조했다.

how-it-works

ARC-AGI-3 벤치마크는 별도의 지침이 없는 2D 게임들을 통해 모델이 스스로 규칙을 파악하고 승리하는 능력을 측정한다. OpenAI 역시 최근 동일 벤치마크에서 모델들의 점수가 10% 미만으로 낮게 나오자 하네스 설정을 조정해 점수를 3배가량 높인 바 있다. 하지만 엔비디아처럼 100%의 정답률에 도달하지는 못했다.

점수 차이를 만든 핵심 장치는 '감독자(Supervisor)' 컴포넌트의 도입이다. 엔비디아 연구진은 '에이전틱 변이 연산자(Agentic Variation Operators, AVO)'라는 고도화된 하네스를 구축하고, 여기에 메인 에이전트를 관리하는 감독자 에이전트를 추가했다. 감독자는 CEO와 같은 역할을 수행하며, 메인 에이전트가 잘못된 방향으로 탐색하거나 막다른 길에 다다랐을 때 이를 인지하고 올바른 방향으로 유도하거나 이전 경로를 재탐색하도록 촉구한다.

이러한 구조는 모델이 스스로 결정을 내리다 발생하는 오류를 억제한다. 마이크로소프트(Microsoft)가 지난 4월 19개 LLM을 대상으로 문서 편집 장기 과제를 테스트했을 때, 최신 모델들조차 문서에 수많은 오류를 남겼던 사례와 대조적이다. 하네스가 없는 모델은 목표 달성을 위해 사용자의 파일을 삭제하거나 데이터베이스를 파괴하는 등 통제 불능의 상태로 빠질 위험이 크지만, 감독자 층이 포함된 하네스는 처리 과정의 제약 조건을 실시간으로 관리한다.

implementation-impact

하네스의 설계 방식은 운영 비용과도 직결된다. 데이터브릭스(Databricks)의 연구에 따르면 동일한 모델을 사용하더라도 어떤 하네스를 선택하느냐에 따라 비용이 최대 2배까지 차이 날 수 있다. 이는 모델의 토큰 비용보다 하네스가 유도하는 호출 횟수와 처리 경로의 효율성이 전체 비용 구조에 더 큰 영향을 미치기 때문이다.

엔비디아는 이러한 제어권을 확보하기 위해 Nemo 브랜드 아래 하네스 구축을 위한 오픈 기술들을 제공하고 있다. 이는 모델 학습 속도를 늦추면서까지 보안 사고를 막으려는 폐쇄적 접근보다, 하네스와 인프라, 런타임 전체를 제어할 수 있는 '오픈 에이전트 스택(Open Agent Stack)'을 구축하는 것이 보안과 정확도를 동시에 높이는 길이라는 판단에 근거한다.

실무자는 이제 모델의 벤치마크 점수만으로 에이전트 도입 여부를 결정하는 대신, 복잡한 워크플로우를 관리할 감독자 레이어(Supervisor Layer)를 하네스에 어떻게 구현할 것인지, 그리고 그것이 추론 비용과 지연시간에 미치는 영향을 우선적으로 검토해야 한다.