AI 기반 소프트웨어 팩토리의 운영 현황과 비용 구조

Uber는 소프트웨어 개발 생명주기(SDLC) 전반에 AI를 통합하여 코드 리뷰, CI 실패 복구, 버그 디버깅 등을 수행하는 관리형 에이전트 체계를 구축했다. 2026년 2월부터 8월 중순까지 주간 활성 사용자는 7배, 에이전트 요청은 9.4배 증가했으나, 전방위적인 최적화 작업으로 4월 이후 총 AI 지출은 안정화 단계에 진입했다. 동일 모델 기준 요청 1,000건당 비용은 정점 대비 약 34%, 세션당 비용은 52% 감소했다.

운영 효율을 위해 에이전트 세션 비용을 6개 항으로 분해하여 관리한다. 채택과 참여를 나타내는 초기 항은 성장을 유도하고, 계획·탐색·오류 처리에 소요되는 중간 항은 최적화 대상으로 삼는다. 특히 도구별 단위 경제성을 사용자당 비용, 요청당 입출력 토큰, 프롬프트 캐시 적중률 등으로 세분화하여 모델별 기여도를 추적한다. 관리형 에이전트는 병합된 PR, 리뷰, 경보 분류 등 결과 단위 비용과 품질(F1 점수, MTTR 등)을 함께 측정하여 모델 교체 시에도 가치 단위당 비용이 낮아지는지 검증한다.

작업별 Pareto 최적 모델 선택 및 컨텍스트 최적화

Uber는 모든 관리형 에이전트에 대해 실제 작업 기반의 벤치마크를 수행한다. 프런티어 모델과 오픈 웨이트 모델을 단일 인터페이스에서 실행하여 비용·품질·신뢰성의 Pareto 효율을 판단하고, 수주마다 변화하는 모델 경계에 맞춰 최적 구성을 갱신한다. 예를 들어, 코드 리뷰 시스템인 'uReview'는 실제 PR을 난이도별로 분류한 벤치마크를 통해 모델 전환 후 F1 점수 향상과 비용 절감을 동시에 달성했다. 대규모 모노레포 기반의 'Uber SWE Benchmark'는 프런티어 및 오픈 웨이트 모델을 실행하여 에이전트의 모델 선택 기준을 제공한다.

토큰 낭비를 줄이기 위해 프롬프트 캐싱과 컨텍스트 압축을 적극 활용한다. 1M 토큰 컨텍스트 모델도 400K로 자동 압축하며, 5분이었던 프롬프트 캐시 TTL을 대화형 세션의 특성에 맞춰 1시간으로 연장했다. 또한, MCP(Model Context Protocol) 호출 시 발생하는 컨텍스트 팽창을 막기 위해 두 가지 방식을 도입했다. 첫째, CLI 도구 해석 시 필요한 도구만 동적으로 적재하는 방식이다. 둘째, '코드 모드'를 통해 여러 도구 작업을 하나의 스크립트로 묶어 모델 턴을 줄이는 방식이다. 동일 SQL 작업에서 코드 모드 적용 시 중간 결과 적재를 최소화하여 토큰 사용량을 50%에서 90% 이상 절감하는 효과를 확인했다.

실무자를 위한 운영 전략: 대화형에서 관리형으로의 전환

효율적인 에이전트 운영을 위해 2,400만 개의 노드로 구성된 'AI Context Graph'를 활용한다. 에이전트가 코드 생성보다 정보 위치를 찾는 데 더 많은 턴을 소비한다는 점에 착안하여, 30개 이상의 내부 시스템을 통합한 그래프를 통해 에이전트의 탐색 비용을 획기적으로 낮췄다. 또한, 실시간 비용 카운터와 16개 비용 낭비 패턴을 탐지하는 대시보드를 통해 엔지니어가 작업의 투자 대비 효과를 직접 판단하도록 유도한다.

개발자와 실무자는 개별 엔지니어의 터미널 세션을 일일이 최적화하는 방식에서 벗어나, 작업 유형별로 정의된 관리형 에이전트 환경으로 업무를 이전하는 것을 우선해야 한다. 관리형 에이전트는 모델 라우팅, 실행 하네스, 운영 지출을 중앙에서 통제할 수 있어 개별 세션보다 높은 확장성과 비용 효율을 보장한다. 특히 단순한 다중 턴 세션에 고성능 모델을 할당하는 비효율을 방지하기 위해, 작업의 복잡도에 따라 프런티어급 추론이 필요한 주 모델과 범위가 명확한 작업에 특화된 저렴한 하위 에이전트를 분리하여 라우팅하는 구조를 설계해야 한다.