발표에서 확인된 핵심 사실

185개 로컬 세션을 측정한 결과, 캐시 재구축 비용이 전체 청구액의 약 22%를 차지했다. 이는 Claude Code(클로드 코드, 앤스로픽의 CLI 도구)의 프롬프트 캐시가 5분의 TTL(Time To Live, 유효 기간)을 갖기 때문에 발생하는 지출이다. 동일한 접두사(prefix)에 대한 요청 사이에 5분 이상이 지나면 캐시는 자동으로 만료되어 다시 비용을 지불하고 구축해야 한다.

특히 메인 에이전트가 5분 넘게 실행되는 서브 에이전트를 기다리는 상황에서 캐시 만료가 빈번하다. 서브 에이전트는 메인 에이전트와는 다른 캐시 접두사를 사용한다. 이 때문에 서브 에이전트가 작동하는 동안 메인 에이전트의 캐시는 갱신되지 않은 채 유효 기간을 넘겨 사라진다.

claude-thermos(클로드 써모스, 캐시 유지 도구)는 로컬 리버스 프록시(Local Reverse Proxy, 요청을 전달하는 대리 서버) 방식으로 이 문제를 해결한다. `ANTHROPIC_BASE_URL`을 루프백 포트로 지정해 Claude Code를 실행하며, 모든 트래픽은 실제 Anthropic API로 전달하는 구조다. 이 프록시가 백그라운드에서 프롬프트 캐시 TTL을 자동으로 갱신해 불필요한 캐시 재구축 비용을 줄인다.

프롬프트 캐시 만료를 방지하여 세션을 유지하는 도구이다

캐시 읽기 비용은 입력 가격의 0.1배 수준이지만, 캐시가 만료되어 재인코딩이 발생하면 1.25배의 쓰기 비용을 지불해야 한다. 캐시가 유지되면 저렴한 가격으로 데이터를 읽어올 수 있으나, 만료 시에는 전체 내용을 다시 인코딩하는 고비용 작업이 강제된다. 비용 효율성을 결정짓는 지점은 결국 캐시의 유지 여부에 있다.

claude-thermos(클로드-써모스, 프롬프트 캐시 유지 도구)는 백그라운드에서 자동으로 캐시를 활성화 상태로 유지해 이러한 쓰기 작업을 방지한다. 매 턴마다 전체 대화 기록을 0.1배의 읽기 비용으로 처리하도록 유도하며, 1.25배의 쓰기 요율이 적용되는 전면적인 재인코딩 과정을 생략한다. 고비용의 재인코딩을 피함으로써 실제 지출되는 비용을 낮추는 것이 핵심이다.

특히 Claude Code(클로드 코드, AI 기반 코딩 도구) 환경에서 메인 에이전트가 서브 에이전트의 작업 완료를 기다리는 동안 프롬프트 캐시가 만료되어 발생하는 추가 비용을 막는다. 캐시를 따뜻하게 유지하는 워밍(warming) 방식을 통해 세션을 지속시킨다. 사용자가 캐시 만료로 인해 지불해야 했던 일종의 세금 같은 추가 비용을 제거해 비용 효율성을 높인다.

캐시 재구축 비용이 전체 비용의 약 22%를 차지할 수 있다

약 185개의 로컬 세션을 측정한 결과, 캐시 만료 후 전체 대화 내용을 다시 인코딩하는 비용이 전체 청구 금액의 약 22%에 달했다. 개별 재작성 과정에서 200K에서 500K에 이르는 대량의 토큰이 다시 인코딩되며 비용이 누적되는 현상이 나타났다. 불과 몇 분 전 이미 캐시되었던 콘텐츠를 다시 처리하며 불필요한 비용을 지불하는 구조다.

시스템 PATH에 claude CLI(명령줄 인터페이스)가 설정되어 있어야 claude-thermos(클로드 서모스, 캐시 유지 도구)를 구동할 수 있다. Python 3.11 이상 버전이 설치된 환경에서 uvx(파이썬 패키지 실행 도구)를 통해 프로그램을 실행하는 방식이다. 터미널에서 즉시 적용 가능한 실행 명령어는 다음과 같다.

uvx claude-thermos claude

이 수치는 185개의 로컬 세션을 대상으로 측정한 결과이며, 개별 사용자의 환경이나 사용 패턴에 따라 22%의 절감률이 동일하게 보장되는지는 확인되지 않았다. 서브 에이전트의 작업 시간이 5분을 초과하는 복잡한 워크플로우를 사용하는지 여부에 따라 도입 실익이 결정된다.