8개 모델 테스트로 확인된 '메모리 용량'의 세 가지 패턴

gpt-oss-120b 모델은 선별적 검색 방식을 통해 토큰 사용량을 5%만 늘리고도 작업 완료율인 TGC(Task Goal Completion)를 16.1pp 높였다. 이는 에이전트 메모리를 단순히 켜고 끄는 기능으로 접근하는 것이 아니라, 모델의 역량에 맞춰 주입량을 정밀하게 조절해야 하는 용량의 문제임을 보여준다. 연구진은 30B 밀집 모델부터 최신 독점 모델까지 총 8개 모델을 대상으로 평가를 수행하여 모델 티어별 메모리 반응 차이를 분석했다. 분석 결과 에이전트 메모리의 효과는 모델의 체급과 특성에 따라 전체 주입, 선별적 검색, 효과 없음이라는 세 가지 뚜렷한 패턴으로 구분되었다.

역량이 높은 강한 모델은 방대한 지침을 모두 소화할 수 있는 내부 여유 공간을 보유한다. DeepSeek-V3.2(671B MoE, 여러 개의 작은 신경망을 선택적으로 사용하는 혼합 전문가 구조)는 희귀한 엣지 케이스의 교훈을 모두 포함한 전체 가이드라인 세트를 주입했을 때 TGC가 9.5pp 상승했다. 이러한 모델은 모든 가이드라인을 흡수하여 실제 작업에 적용할 수 있는 능력을 갖추고 있다. 반면 상대적으로 역량이 낮은 모델은 너무 많은 가이드라인이 주입되면 정보에 압도되어 오히려 성능이 저하되는 경향을 보인다. gpt-oss-120b(117B MoE)의 경우 신뢰도가 높은 핵심 가이드라인에 작업별로 관련된 정보만 골라 가져오는 선별적 검색 방식을 적용했을 때 TGC가 16.1pp 상승했다. 전체 가이드라인을 그대로 주입했을 때는 성능 향상이 미미했을 뿐 아니라 토큰 사용량이 약 50% 증가하는 비용 효율 저하가 발생했다.

일부 모델에서는 메모리 주입 후에도 측정 가능한 성능 향상이 전혀 나타나지 않는 포화 패턴이 관찰되었다. GLM-5(745B MoE)가 이 패턴에 해당하며, 이는 모델이 이미 해당 작업에서 도달할 수 있는 성능 상한선에 근접했거나 주입된 가이드라인이 모델의 잔여 실패 원인을 해결하지 못했음을 의미한다. 다만 포화 패턴의 정확한 원인은 과학적으로 증명되지 않았으며, 실험 과정에서 관찰된 현상을 정의한 명칭이다. 메모리 흡수력을 결정하는 요인은 단순한 파라미터 수의 많고 적음이 아니다. 벤치마크의 여유 공간과 컨텍스트 윈도우(모델이 한 번에 처리할 수 있는 텍스트 최대 길이) 크기, 모델의 내부 아키텍처, 그리고 제공된 가이드라인의 품질이 복합적으로 작용하여 최종적인 성능 향상 폭을 결정한다.

ALTK-Evolve: 가중치 업데이트 없는 가이드라인 추출 루프

가중치 업데이트와 인간의 어노테이션(정답 라벨링) 없이 과거의 실행 궤적(Trajectory, 작업 수행 과정의 기록)에서 행동 지침을 스스로 추출하는 루프가 작동한다. 작동 순서는 먼저 에이전트가 특정 작업을 수행하며 궤적을 생성하고, 이 기록 중 성공한 사례와 실패한 사례를 모두 분석해 행동 가이드라인을 뽑아내는 방식으로 진행된다. 이렇게 추출된 개별 지침들은 다시 재사용 가능한 하나의 세트로 통합되며, 이후 새로운 작업을 처리하는 추론 시점에 모델의 입력값으로 주입된다. 모델 내부의 신경망 가중치를 변경하지 않고 외부의 지침을 통해 행동을 교정하는 비파라미터 학습 루프를 구축한 것이다.

이 시스템이 정의하는 메모리는 과거 대화 기록을 그대로 복사해 붙여넣는 단순 재생 방식이 아니다. 실제로 작동했던 전략과 반복적으로 나타난 실수, 그리고 해결하기 까다로운 엣지 케이스(Edge Case, 일반적이지 않은 예외 상황)를 정제해 만든 가이드라인 세트다. 모델은 단순히 과거에 어떤 순서로 명령어를 입력했는지가 아니라, 특정 상황에서 어떤 전략을 취해야 하는지에 대한 정제된 지침을 전달받는다. 이러한 방식은 단순 기록의 나열보다 토큰 효율성을 높이며 모델이 정답에 빠르게 접근하도록 돕는 전략적 가이드 역할을 한다.

가중치를 직접 수정하지 않는 구조적 특성은 높은 이식성으로 이어진다. ALTK-Evolve는 모델의 내부 파라미터를 건드리지 않으므로 테스트 대상이 된 8개 모델 모두에 즉시 적용 가능하다. 특정 모델의 아키텍처에 종속된 최적화 과정이 없기에 모델을 교체하더라도 추출된 가이드라인 세트를 그대로 활용하거나 빠르게 재구축할 수 있다. 이는 복잡한 파인튜닝(Fine-tuning, 특정 목적에 맞게 모델을 미세 조정하는 학습) 과정 없이 프롬프트 수준의 조정만으로 다양한 규모의 모델에서 메모리 기능을 구현할 수 있음을 보여준다.

추론 시점에 주입되는 가이드라인은 모델이 이전에 겪었던 시행착오를 실시간으로 반영하는 외부 지식 저장소로 작동한다. 모델은 주입된 세트를 참조해 과거에 실패했던 경로를 회피하고 성공 확률이 높은 행동을 우선적으로 선택한다. 가중치 업데이트가 없으므로 학습 데이터 오염이나 치명적 망각 같은 부작용 없이 새로운 경험을 즉각적으로 모델의 추론 과정에 통합할 수 있다. 결과적으로 ALTK-Evolve는 학습과 추론의 경계를 허물어 실행 기록 자체를 즉시 사용 가능한 지식으로 변환하는 단순하고 효율적인 구조를 가진다.

전체 주입(Full Set) vs 선별적 검색(Curated

AppWorld 벤치마크는 캘린더, 메시징, 결제 등 9개 시뮬레이션 앱을 대상으로 168개의 일반 작업과 417개의 챌린지 작업을 포함한 총 585개의 다단계 작업을 수행한다. 성능 측정은 에이전트가 작업을 완전히 완료했는지 확인하는 TGC(Task Goal Completion)와 시나리오의 모든 변수를 통과했는지 측정하는 SGC(Scenario Goal Completion) 두 가지 지표를 사용한다. SGC는 단 하나의 변수라도 실패하면 통과하지 못하는 더 엄격한 기준이며, 일반적인 성공률보다 모델이 예외적인 상황을 얼마나 정밀하게 처리하는지를 더 민감하게 반영한다.

추론 시점에 에이전트는 전체 가이드라인 세트를 매 단계마다 모두 주입받거나, 현재 작업과 관련이 깊은 일부만 선택적으로 받는 선별적 검색 방식을 사용한다. 두 방식 모두 AppWorld 훈련 데이터에서 한 번 추출한 동일한 가이드라인 세트를 활용하며, 전달 방식만 다르다. 가이드라인 생성 과정에서 테스트 데이터는 일절 포함되지 않는다. 모델마다 추출하는 가이드라인의 양이 다르기 때문에, 개별 가이드라인의 개수가 아닌 전체 주입과 선별적 검색이라는 두 가지 전략을 기준으로 성능을 비교하여 측정한다.

DeepSeek 모델의 경우 전체 가이드라인 주입 시 TGC는 9.5pp 상승했으나 SGC는 16.1pp 상승하며 더 큰 폭의 개선을 보였다. 정제된 가이드라인이 평균적인 성공 사례보다 드물게 발생하는 엣지 케이스(예외적인 상황)를 해결하는 데 더 효과적으로 작동했기 때문이다. TGC 성능이 이미 상한선에 근접한 GPT-5.5와 Opus 역시 SGC에서 각각 7.2pp, 7.1pp 상승했다. 이는 모델의 기본 체급이 매우 높더라도 해결하지 못한 실패 모드가 남아 있다면 메모리 주입이 유효한 성능 향상을 이끌어낸다는 사실을 입증한다.

gpt-oss-120b 모델은 선별적 검색 방식을 적용했을 때 입력 토큰 증가량이 5%에 불과함에도 TGC 16.1pp 상승을 달성했다. 모든 지식을 주입하는 방식은 토큰 비용을 급격히 높여 운영 부담을 주지만, 필요한 정보만 선별해 제공하는 방식은 정확도와 비용을 동시에 최적화하는 방안이 된다. 모델의 체급에 따라 모든 지식을 제공하는 것이 오히려 추론 효율을 떨어뜨릴 수 있으며, 선별적 검색이 정확도와 비용 효율성을 모두 잡는 최적의 선택지가 된다.

추론 비용의 현실적 제약과 프롬프트 캐싱 전략

가이드라인 세트를 추론 과정에 주입하면 ReAct(추론과 행동을 반복하며 문제를 해결하는 방식) 단계마다 입력 토큰이 중복 전송되어 비용이 상승한다. 모델이 다음 행동을 결정하기 위해 매 턴마다 가이드라인 전체를 다시 읽어야 하므로 입력 토큰 인플레이션이 발생한다. 이는 단순한 텍스트 추가가 아니라, 다단계 작업이 진행될수록 매 단계에서 동일한 지침 비용이 반복 지불되는 구조적 문제다. 생산 환경에서 이러한 토큰 팽창은 API 호출 비용의 직접적인 상승과 추론 지연 시간 증가로 이어진다.

메모리 주입이 추론 루프의 전체 길이를 늘리지는 않는다. DeepSeek 모델을 대상으로 분석한 결과, 메모리 적용 전후 모두 ReAct 단계 수는 평균 약 18~19단계로 동일하게 유지되었다. 메모리가 추가되었다고 해서 모델이 더 많은 단계를 거쳐 생각하거나 궤적의 길이가 늘어나는 현상은 관찰되지 않았다. 결과적으로 비용 상승의 핵심 원인은 추론 횟수의 증가가 아니라, 각 단계에 포함되는 입력 토큰의 부피가 커진 것에 있다.

입력 토큰 증가 문제는 프롬프트 캐싱(Prompt Caching, 입력문의 앞부분을 저장해 중복 계산을 피하는 기술)을 통해 최적화할 수 있다. 가이드라인 세트에서 변하지 않는 정적 부분을 접두사(prefix)로 고정하면, 매 단계 동일한 데이터를 다시 처리하지 않고 캐시된 결과값을 즉시 사용할 수 있어 실질 비용을 크게 낮춘다. 캐시 효율을 극대화하려면 공유 가이드라인 세트의 접두사를 엄격하게 유지하는 설계가 필요하다. 접두사 내의 단어 하나나 공백 하나만 바뀌어도 캐시가 무효화되어 전체 토큰을 다시 처리해야 하므로, 정적 영역과 동적 영역을 명확히 분리하는 엔지니어링이 요구된다.

컨텍스트 윈도우(Context Window, 모델이 한 번에 인식할 수 있는 텍스트의 최대 범위) 크기가 메모리 흡수력에 영향을 미친다는 가설이 제기된다. 처리 용량이 큰 모델은 전체 가이드라인 세트를 한 번에 주입해도 정보를 효율적으로 활용하지만, 용량이 작은 모델은 주입 콘텐츠를 압축하는 검색 기반 방식에서 더 큰 이득을 얻을 가능성이 크다. 다만 이 상관관계는 아직 통제된 실험을 통해 정밀하게 검증되지 않은 상태다. 개발자는 사용하는 모델의 윈도우 크기에 따라 전체 주입과 선별적 검색 중 적절한 전략을 선택해야 한다.

한국 AI 실무자를 위한 에이전트 메모리 도입 판단 기준

에이전트 메모리 도입 비용은 사용 모델의 역량에 따라 전체 가이드라인 주입과 선별적 검색이라는 두 가지 운영 경로로 나뉜다. 모델이 복잡한 지침을 모두 소화할 여유가 있는 강한 모델은 전체 가이드라인 세트를 컨텍스트에 넣고 프롬프트 캐싱(미리 계산된 프롬프트를 저장해 비용과 시간을 줄이는 기술)을 조합하는 방식이 효율적이다. 반면 정보 과부하로 성능이 떨어지는 약한 모델은 핵심 코어 지침과 작업별로 필요한 정보만 가져오는 선별적 검색 조합을 선택해야 한다. 이는 모델의 수용량에 맞춰 주입량을 조절해야 토큰 비용 낭비를 막고 성능을 최적화할 수 있음을 의미한다.

메모리를 주입했음에도 성능 변화가 없는 포화 상태의 모델은 컨텍스트를 추가하는 대신 실패 모드에 대한 근본적인 분석을 우선해야 한다. 무조건적인 정보 추가는 토큰 사용량만 늘릴 뿐 실제 작업 완료율을 높이지 못하는 구간이 존재하기 때문이다. 특히 자기 정제(모델이 자신의 결과물에서 지식을 추출해 학습하는 방식) 신호가 부족한 매우 낮은 역량의 모델은 스스로 학습하는 것이 불가능하다. 이런 경우에는 성능이 높은 상위 모델이 지식을 정제해 전달하는 교사 모델 기반 메모리(Teacher-distilled memory) 접근법을 적용해 부족한 신호를 보완해야 한다.

현재의 메모리 검색은 코사인 유사도(두 벡터 사이의 각도를 이용해 유사성을 측정하는 방식) 기반으로 작동하며 이는 특정 작업에 어떤 가이드라인이 실제로 도움이 되는지 완벽하게 예측하지 못한다. 이를 해결하기 위해 실제 작업 성공 여부라는 결과 신호를 기반으로 학습된 셀렉터(Learned Selector) 도입이 다음 단계의 기술적 과제로 꼽힌다. 결과 신호 기반 셀렉터는 단순한 텍스트 유사성이 아니라 실제 성능 향상으로 이어진 사례를 우선적으로 선택하게 만든다. 검색 정확도가 올라가면 약한 모델에서도 더 적은 토큰으로 높은 성능을 낼 수 있는 구조가 된다.

실무자는 사용 중인 모델이 복잡한 지침을 모두 처리할 여유가 있는 강한 모델인지 아니면 정보 과부하가 걸리는 약한 모델인지 진단하여 전체 주입과 선별적 검색 중 하나를 선택해야 한다.