발표에서 확인된 핵심 사실

AI 모델이 오류를 내면 성능 개선 대신 무작정 더 많은 데이터를 프롬프트에 집어넣어 해결하려는 습관이 있다. 데이터 양을 늘려 정답률을 높이려는 이 방식은 결국 토큰 소비량을 늘려 운영 비용 부담을 키운다. Writer는 이런 방식 대신 모델을 감싸는 조율 계층인 하네스(harness)를 최적화해 성공적인 작업당 비용을 최대 61%까지 덜어냈다.

하네스는 파운데이션 모델(기본 AI 모델)을 직접 수정하지 않고 그 주변에서 작업을 관리하는 오케스트레이션 레이어(전체 흐름을 제어하는 층)다. AI가 어떤 순서로 정보를 처리하고 답을 내놓을지 결정하는 외곽 틀을 정교하게 다듬어 효율을 높인 셈이다. 모델의 뼈대를 바꾸지 않고도 출력 품질을 일정하게 유지하며 운영 비용만 획기적으로 낮출 수 있음을 보여주었다.

실제 실험 수치를 보면 작업당 혼합 비용이 21센트에서 12센트로 41% 감소했다. 작업 하나를 처리하는 데 쓰이는 토큰(AI가 읽는 텍스트 최소 단위) 수는 14.2k에서 8.8k로 38% 줄어들었다. 불필요한 데이터 낭비를 막아 작업당 토큰 소비를 줄인 것이 비용 절감의 직접적인 원인이 되었다. 이는 모델의 지능을 높이는 것만큼이나 데이터를 전달하는 통로를 최적화하는 것이 중요하다는 사실을 보여준다.

이번 결과는 모델을 다시 학습시키는 파인튜닝(특정 목적에 맞게 모델을 미세 조정하는 과정) 없이도 AI 에이전트의 단위당 운영 비용을 낮출 수 있는 설계 기준을 제시한다. 하네스 최적화라는 구조적 접근만으로 정확도 저하 없이 경제성을 확보할 수 있다는 점이 확인되었다.

기술이 실제로 작동하는 방식

AI 추론 한 번에도 인프라 비용은 실시간으로 청구된다. 보이지 않는 이 비용을 효율적으로 관리하려면 LLM을 감싸는 AI 하네스(AI Harness)의 설계가 핵심이다. 하네스는 LLM이 실제 서비스로 작동하게 경로를 지정하고 형식을 맞추는 오케스트레이션 레이어(조율 계층)다. 시스템 프롬프트 캐싱(자주 쓰는 지시문을 저장해 재사용하는 기술)이나 상호작용 이력 압축(과거 대화 내용 중 핵심만 남기고 줄이는 기술), 도구 관리, 검색 전략, 오류 관리 같은 최적화 레버를 통해 시스템 전체의 성능을 조절한다. 데이터가 흐르는 길을 정리하고 출력 형식을 다듬어 LLM이 엉뚱한 답을 내놓지 않게 만드는 제어 장치 역할을 수행한다.

최적화된 하네스는 검색 같은 특정 작업을 전문 서브 에이전트(특정 임무만 수행하는 보조 AI)에게 위임한다. 서브 에이전트는 메인 AI가 가진 방대한 정보 전체를 읽는 대신, 작업에 꼭 필요한 도구와 구체적인 질문만 전달받아 빠르게 움직인다. 필요한 데이터를 정확히 찾아낸 뒤에는 분량을 제한한 깨끗한 요약본만 메인 에이전트에게 반환한다. 메인 컨텍스트 윈도우(AI가 한 번에 기억하고 처리할 수 있는 텍스트 용량)가 쓸모없는 데이터로 팽창하는 것을 막아 처리 효율을 극대화하는 구조다. 메인 AI가 모든 세부 사항을 일일이 읽지 않고 정제된 결과값만 전달받게 하여 불필요한 연산 낭비를 줄인다.

확인해야 할 핵심 지점

기술의 변화 속도가 너무 빨라 잘못된 습관이 표준이 되는 순간은 순식간에 찾아온다. 최근 AI 엔지니어링 현장에서는 정교한 시스템 설계보다 무작정 많은 데이터를 쏟아붓는 토큰맥싱(tokenmaxxing) 추세가 뚜렷하다. 개발자가 AI의 출력 오류를 발견했을 때 내부 로직을 수정하는 대신, 컨텍스트 윈도우(AI가 한 번에 읽고 처리할 수 있는 텍스트의 양)에 관련 정보를 계속 추가해 다시 시도하는 방식에 의존하는 모습이다. 토큰당 이용 가격이 계속 낮아지면서 정작 시스템 아키텍처가 비효율적으로 짜여 있다는 근본적인 문제가 비용이라는 장막 뒤로 숨어버렸다.

이런 설계상의 허점을 정확히 짚어내기 위해 연구진은 오케스트레이션 레이어(여러 AI 모델의 호출 순서와 데이터 흐름을 관리하는 조율 계층)의 영향을 분리해 검증하는 실험을 설계했다. 특정 모델의 특성에 치우치지 않도록 다양한 제조사와 서로 다른 가중치 클래스를 가진 6개의 파운데이션 모델을 표본으로 삼았다. 실험에 투입된 모델은 Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1 그리고 Writer의 Palmyra X6다. 서로 다른 체급과 성격의 모델들을 동일한 조건에서 테스트해 모델 자체의 성능이 아닌 시스템 설계가 가져오는 실질적인 변화를 측정했다.

데이터를 많이 넣는 방식에 의존하는 습관은 엔지니어링의 효율성을 저해하는 요소가 된다. 모델의 체급이나 제조사와 상관없이 시스템 조율 방식에 따라 운영 효율이 달라질 수 있음을 확인한 결과다.

오류를 고치려고 프롬프트에 데이터를 무작정 쏟아붓는 습관은 비용 낭비의 주범이다. 고정 데이터와 가변 데이터를 나누는 투존 구조와 서브 에이전트 위임 방식만으로도 토큰 소비 38%와 비용 41%를 덜어낼 수 있다.

결국 AI 에이전트의 단위당 운영 비용은 모델의 체급이 아니라 시스템을 조율하는 설계 능력에서 결정된다. 지금 사용하는 프롬프트가 불필요한 맥락으로 비대해져 있지는 않은지 구조부터 점검할 때다.