API 숙련도 문제를 해결하는 '비압축 메모리'의 원리

LLM 에이전트가 청구서 분할, 노래 찾기, 9개 시뮬레이션 앱 간 주문 대조와 같은 다단계 작업을 수행할 때, API 지식 부족이 아닌 사용법 숙련도 문제로 실패한다. 에이전트는 API 페이지네이션(Pagination) 오류를 범하거나, 잘못된 대상을 식별하거나, 요청하지 않은 값을 반환하는 등의 구체적인 실행 오류를 보인다. 이를 해결하기 위해 ACE(Agentic Context Engineering)와 ALTK-Evolve는 에이전트의 과거 궤적(Trajectories)을 요약 없이 개별 가이드라인으로 보존하여 추론 시점에 다시 제공하는 에이전트 메모리 방식을 채택한다.

두 시스템은 과거의 경험을 재사용 가능한 '레슨(Lesson)'으로 변환하며, 이 과정에서 정보를 압축하지 않는 비압축 원칙을 고수한다. 지침을 짧고 일반적인 형태로 최적화하려다 세부 사항이 사라지는 '간결함 편향(Brevity Bias)'과, 매 단계 컨텍스트를 다시 쓰게 하여 디테일이 삭제되는 '컨텍스트 붕괴(Context Collapse)' 현상을 방지하기 위함이다. 따라서 시스템은 세부 정보가 살아있는 항목별 플레이북을 유지하고, 모델이 읽기 시점에 직접 관련성을 판단하도록 설계한다.

각 레슨의 신뢰도는 지지 횟수(Support Count) 또는 도움/해로움 카운터로 측정하여 관리한다. 지지 횟수는 해당 지침을 생성한 독립적인 에피소드의 수를 의미하며, 다섯 번의 작업에서 발견된 레슨과 한 번 발견된 레슨을 서로 다른 객체로 취급해 모두 보존한다. 이러한 방식은 빈도가 높은 일반 규칙과 빈도가 낮은 특수 예외 상황 대응책을 모두 유지함으로써 사례 기반의 신뢰도를 확보하는 근거가 된다.

경험을 정형화된 가이드라인으로 변환하는 구축 프로세스

ACE는 생성자(Generator) $

ightarrow$ 성찰자(Reflector) $

ightarrow$ 큐레이터(Curator) 루프를 통해 플레이북을 확장하며, 증분 델타 업데이트(Incremental delta update)를 적용해 메모리를 최신화한다. 임베딩 기술을 활용해 의미적으로 유사한 레슨을 식별하고 중복을 제거하며, 여러 레슨이 병합될 때 생존한 가이드라인이 병합된 모든 레슨의 지지 횟수를 상속받아 경험의 기록을 보존한다.

ALTK-Evolve는 임베딩 기반의 클러스터링(Clustering)을 통해 유사 레슨을 통합하고 지지 횟수를 합산하는 방식을 사용한다. 이를 통해 저장소의 물리적 크기는 줄이면서도, 특정 지침이 얼마나 많은 실제 성공 및 실패 사례에 근거하고 있는지를 손실 없이 유지한다. 저장된 가이드라인은 목적에 따라 전략(Strategy), 복구(Recovery), 최적화(Optimization)의 세 가지 유형으로 분류되어 체계적으로 관리된다.

모든 가이드라인에는 특정 행동이 어떤 결과로 이어졌는지에 대한 인과 관계 속성(Causal Attribution)과 데이터가 생성된 원래의 실행 경로인 소스 궤적 출처(Provenance)가 명시된다. 특히 이러한 기록을 하위 작업(Subtask) 단위의 세밀한 수준으로 저장함으로써 학습된 경험의 전이 가능성을 높인다. 결과적으로 에이전트는 특정 애플리케이션의 특정 기능에서 얻은 복구 경험을 다른 앱의 유사한 하위 작업에 적용할 수 있는 능력을 갖추게 된다.

전체 주입과 선택적 전달: 추론 비용을 결정하는 '전달 다이얼'

ACE는 모델의 체급이나 작업의 성격과 관계없이 매 단계마다 전체 플레이북(Comprehensive Playbook)을 컨텍스트에 주입하는 고정된 전달 방식을 사용한다. 이는 메모리 구축 비용을 낮추는 데 집중한 설계이며, 추론 시점에는 항상 동일한 양의 토큰을 소비하게 만든다.

반면 ALTK-Evolve는 정보 전달 방식을 고정 상수가 아닌 조절 가능한 '다이얼(Dial)' 구조로 설계하여 토큰 소비량을 직접 제어한다. 전달 구성은 여러 독립 에피소드에서 검증된 '고정 핵심 가이드라인'과, 현재 작업에 맞춰 코사인 유사도나 LLM 가이드 기반 우선순위 가중치로 선택된 '소수 가이드라인'을 결합한 형태다. 이를 통해 모델이 불필요한 정보에 노출되지 않고 현재 작업에 가장 적합한 레슨만 정확히 참조하도록 유도한다.

모델의 여유 용량(Headroom)이 충분한 경우에만 전체 통합 세트를 전달하는 유연한 대응 체계를 갖춘다. 이는 모델의 체급이 낮아 컨텍스트가 과도할 때 발생하는 정보 간섭을 방지하고, 체급이 높을 때는 더 많은 정보를 제공해 성능을 극대화하기 위한 전략이다. 결국 메모리 저장소의 내용은 동일하더라도, 이를 추론 시점에 꺼내 쓰는 전달 방식의 차이가 전체적인 토큰 비용과 추론 효율을 결정하는 핵심 변수가 된다.

AppWorld 벤치마크를 통한 모델 체급별 성능 및 비용 검증

AppWorld `test_normal` (168개 작업) 환경에서 ReAct 코드 에이전트를 통해 성능을 측정한 결과, 모델 체급에 따라 전달 전략의 효과가 다르게 나타났다. 강한 모델인 DeepSeek-V3.2를 적용했을 때, ALTK-Evolve는 Easy, Hard, Overall 모든 지표에서 ACE보다 높은 성적을 기록했다. 이때 추론 비용은 ACE가 사용한 토큰의 약 40% 수준으로 낮아져, 고성능 모델일수록 선택적 전달이 정확도 향상과 자원 절감을 동시에 달성함을 입증했다.

상대적으로 체급이 낮은 gpt-oss-120b 모델에서는 정확도 유지와 획기적인 비용 절감이 동시에 확인되었다. ALTK-Evolve의 정확도는 56.0, ACE는 54.8로 측정되어 벤치마크 실행 간 노이즈 범위 내의 사실상 동일한 성능을 보였다. 그러나 비용 면에서는 ALTK-Evolve가 ACE의 약 7분의 1 수준으로 토큰을 사용하여, 약한 모델일수록 불필요한 컨텍스트를 제거하는 것이 비용 최적화의 실질적 방안임을 보여주었다.

작업 난이도별 분석에서는 gpt-oss-120b 모델의 경우 쉬운 작업에서는 전체 주입 방식이 유리했으나, 난도가 높은 Hard 작업에서는 큐레이션된 검색(Curated Retrieval) 방식이 더 높은 성능을 기록했다. 이는 모델이 모든 지침을 훑는 것보다 정교하게 선택된 레슨을 참조할 때 복잡한 문제를 더 잘 해결한다는 것을 의미한다. 반면 DeepSeek-V3.2는 강한 수용력 덕분에 Medium 난도에서 ACE가 소폭 앞섰으나, 전체적인 성능과 효율은 선택적 전달을 적용한 ALTK-Evolve가 우세했다.

모델 역량에 따른 메모리 주입 전략 선택 기준

에이전트 메모리 설계 시 가장 중요한 판단 기준은 사용 중인 모델의 체급에 따라 메모리 주입량을 조절하는 비용-성능 최적화 전략이다. 강한 모델은 전체 메모리 세트를 수용해도 성능이 유지되거나 향상되지만, 약한 모델은 과도한 컨텍스트가 오히려 추론을 방해하는 간섭 요인으로 작용한다.

실무 적용을 위한 모델 체급별 메모리 전달 전략은 다음과 같다. DeepSeek-V3.2와 같은 강한 모델을 사용할 때는 전체 통합 세트를 주입하여 모델의 수용 능력을 최대한 활용하는 전략을 선택한다. 반면 gpt-oss-120b와 같은 약한 모델을 사용할 때는 고정 핵심 가이드라인에 작업별 선택적 검색(Selective Retrieval)을 결합하여 주입량을 최소화하는 전략이 필수적이다.

이러한 전략을 구현하기 위해 추출, 통합, 검색 파이프라인이 포함된 ALTK-Evolve 라이브러리를 활용할 수 있다. 성능 평가는 개별 작업 성공률인 TGC(Task Goal Completion)와 모든 변형 사례를 통과해야 하는 SGC(Scenario Goal Completion)를 pass@1 기준으로 측정하여 검증한다. 결과적으로 모델의 처리 용량에 맞춰 전달 방식을 캘리브레이션(Calibration)함으로써, 성능 손실 없이 추론 비용을 획기적으로 절감하는 설계가 가능하다.