AI 컨설턴트 L씨는 최근 고객사로부터 LLM 성능은 충분한데 실제 서비스에서는 에이전트가 자꾸 멈춘다는 불만을 접했다. 초기 도입 단계에서는 빠른 배포에만 집중했으나, 정작 시스템의 기반이 되는 '배관(plumbing)' 작업이 누락된 결과다. 모델이 응답하지 않거나 외부 API 호출 중 오류가 발생하면 전체 워크플로우가 중단되고, 이를 복구하기 위해 처음부터 다시 실행하며 불필요한 토큰 비용이 중복 발생한다. 이는 과거 기업들이 클라우드 도입 시 아키텍처 최적화 없이 기존 워크로드를 그대로 옮겼던 '리프트 앤 시프트(Lift-and-Shift)'의 실패 사례와 유사하다. 단순한 챗봇 수준을 넘어 복잡한 비즈니스 프로세스를 수행하는 에이전트에게는 모델의 지능보다 시스템의 지속 가능성이 더 중요한 변수가 됐다. 이런 곤란을 겪으며 에이전트 아키텍처를 처음부터 다시 설계하는 개발자가 늘고 있다.

AI 에이전트 v2.0, '인프라 배관' 재설계의 필요성

작업 도중 시스템이 멈췄을 때 모든 과정을 처음부터 다시 시작해야 하는 상황은 운영 환경에서 가장 치명적인 결함이다. 많은 기업이 LLM(거대언어모델)의 벤치마크 성능이 높으면 에이전트의 성공이 보장된다고 판단했지만, 실제 운영 결과는 달랐다. 장기적으로 실행되는 AI 워크플로우는 시스템 충돌 시 상태를 보존하고 장애를 복구하며 API와 기업 내부 시스템 간의 조율을 수행해야 한다. 단순한 모델 성능보다 장애 복구와 상태 관리를 포함한 시스템 엔지니어링 관점의 접근이 필수적이다.

최근의 AI 적용 양상은 클라우드 도입 초기 단계에서 나타난 리프트 앤 시프트(Lift-and-Shift, 기존 애플리케이션을 수정 없이 그대로 클라우드로 옮기는 방식) 사례와 유사하다. 속도에 치중해 빠르게 배포한 1세대 에이전트들은 인프라 배관이라 할 수 있는 기초 설계가 부족해 잦은 충돌과 작동 중단 문제를 겪고 있다. Temporal Technologies(템포럴 테크놀로지스, 워크플로우 오케스트레이션 기업)의 프리티 소말 수석 부사장은 많은 고객이 이미 구축한 에이전트를 다시 설계하는 버전 2.0 단계에 진입했다고 밝혔다. 무분별한 적용 이후에야 가시성과 거버넌스, 복구 중심의 아키텍처 재설계 필요성을 체감하는 구조다.

에이전트가 복잡한 다단계 프로세스를 수행하다가 마지막 단계에서 오류가 발생하면 전체 워크플로우를 재실행해야 한다. 이 과정에서 이전 단계에서 소모한 추론 비용이 중복 발생하며 응답 지연 시간이 확대되어 고객 경험을 저하시킨다. 이를 방지하기 위해 장애가 발생한 정확한 지점에서 실행을 재개하는 내구성 있는 실행 환경이 요구된다. 특히 워크플로우의 진행 단계와 완료된 작업을 관리하는 상태(State)와 상호작용 정보를 저장하는 메모리(Memory)를 명확히 구분해 관리해야 한다. 모델의 비결정적 특성으로 인한 변동성을 제어하고 실행의 신뢰성을 확보하는 결정론적 척추(Deterministic Spine) 설계가 비용 효율성을 결정한다.

기업용 에이전트는 단순 챗봇을 넘어 의료 기록 처리와 같은 장기 비즈니스 프로세스로 확장되고 있다. 헬스케어 기업 Abridge(어브릿지)의 사례처럼 오디오 처리, 요약, 모델 호출, 최종 보고서 생성으로 이어지는 다단계 흐름에서는 각 단계의 토큰 소모량을 한눈에 파악할 수 있는 가시성이 필요하다. 또한 모델 선택 정책, ID 시스템, 비용 관리 등 내부 가이드라인을 적용할 수 있는 표준화된 거버넌스 프레임워크 구축이 병행되어야 한다. 기성 제품을 그대로 도입하기보다 기업 내부의 요구사항을 반영한 전용 경로를 구축하는 것이 운영 안정성을 확보하는 유일한 방법이다.

'결정론적 척추'를 통한 확률적 모델 제어 구조

작업 중간에 시스템이 멈추면 처음부터 다시 시작해야 한다. 기업용 AI 에이전트 설계에서 상태(State)와 메모리(Memory)를 개념적으로 분리하는 이유다. 상태는 에이전트가 프로세스의 어느 단계에 있는지, 어떤 동작을 이미 완료했는지, 실패 시 정확히 어느 지점에서 복구해야 하는지를 정의하는 실행 데이터다. 반면 메모리는 상호작용이나 작업 전반에 걸쳐 에이전트가 유지하고 전달해야 하는 맥락 정보를 의미한다. 두 개념을 분리하면 시스템 장애 시 전체 흐름을 처음부터 재실행하는 낭비를 없애고 멈춘 지점부터 즉시 복구할 수 있다.

LLM은 입력값에 따라 결과가 변하는 확률적 시스템으로 작동한다. 이를 제어하기 위해 템포럴(Temporal)은 결정론적 척추(Deterministic Spine) 구조를 적용한다. 척추 역할을 하는 오케스트레이션 시스템이 실행 경로를 엄격하게 확정하고 LLM이라는 두뇌를 필요할 때 호출하는 방식이다. 모델이 응답하지 않거나 오류를 반환하면 시스템이 정해진 규칙에 따라 자동으로 재시도를 수행한다. 다음 단계로 넘어가는 과정에서 실패가 발생해도 척추 시스템은 실패한 지점의 상태를 기억해 그곳부터 복구를 시작한다. 비즈니스 프로세스의 일관성은 모델의 개별 성능이 아니라 이를 감싸는 제어 구조의 견고함에서 결정된다.

헬스케어 기업 에이브리지(Abridge)는 이 구조를 통해 의사 진료 기록 처리 과정을 자동화한다. 오디오 데이터를 수집해 처리하고 이를 적절한 단위로 슬라이싱하며 요약을 생성하고 LLM을 호출해 방문 후 최종 요약본을 만드는 단계적 오케스트레이션을 수행한다. 이 과정은 단일 모델 호출이 아니라 여러 서비스와 API, 외부 도구가 복합적으로 얽힌 장기 워크플로우다. 각 단계의 실행 상태가 기록되므로 특정 구간에서 타임아웃이나 시스템 충돌이 발생해도 이전 단계에서 소비한 토큰 비용을 다시 지불할 필요가 없다. 복구 지점을 명확히 설정함으로써 추론 비용의 중복 지출을 물리적으로 차단한다.

기업들은 기성 에이전트 제품을 그대로 도입하기보다 내부 거버넌스가 포함된 포장된 경로(Paved Paths)를 직접 구축하는 방식을 선호한다. 여기에는 모델 선택 정책, 사용자 식별 시스템, 비용 관리 체계, 관찰 가능성 도구 등 내부 통제 장치가 모두 포함된다. 단순한 챗봇 수준을 넘어 복잡한 기업 비즈니스 로직을 수행하려면 외부 솔루션보다 내부 거버넌스 준수가 더 중요하기 때문이다. 워크플로우의 각 단계에서 토큰이 얼마나 소비되는지 단일 화면에서 실시간으로 확인하며 비용 누수 지점을 찾아낸다. 시스템 엔지니어링 관점의 설계가 모델의 파라미터 최적화보다 더 실질적인 운영 신뢰성을 제공한다.

벤치마크 점수는 더 이상 기업용 AI의 성공을 보장하는 절대 지표가 아니다. 개별 모델의 추론 성능보다 이를 통합 운용하는 시스템의 신뢰성이 실질적인 비즈니스 효율을 결정한다.

단순한 지능의 고도화보다 오류를 제어하고 예측 가능한 결과를 내놓는 아키텍처 설계가 우선이다. 결국 AI 에이전트의 시장 경쟁력은 모델의 체급이 아닌 시스템의 제어 가능성에서 판가름 난다.