레거시 인프라가 가로막은 에이전트의 속도
VB Transform 2026에 참석한 링크드인, 월마트, 젠데스크의 인프라 책임자들은 AI 에이전트를 파일럿에서 실제 운영 단계로 옮길 때 겪은 공통적인 병목 현상을 공유했다. 이들이 내린 결론은 모델 자체의 성능 문제가 아니라, 인간의 작업 방식에 맞춰 설계된 기존 레거시 인프라가 에이전트의 작동 속도를 따라가지 못한다는 점이다.
링크드인은 먼저 쿠버네티스(Kubernetes, 컨테이너 오케스트레이션 도구)에서 한계를 발견했다. 요청이 있을 때 컨테이너를 생성하는 기존 방식은 수 초가 소요되는데, 이는 밀리초 단위로 생각하는 에이전트에게 너무 느린 속도였다. 이를 해결하기 위해 링크드인은 온디맨드 프로비저닝 대신 미리 할당된 컨테이너 풀(pre-provisioned pools)을 구축해 워크로드를 실시간으로 교체하는 방식을 도입했다. 또한 LLM이 다른 LLM의 출력을 평가할 때 발생하는 환각 현상을 줄이기 위해, 전체 워크플로의 약 80%를 결정론적(deterministic)인 스크립트 코드로 구성하고 추론이 필요한 지점에만 LLM을 배치하는 구조로 변경했다.
월마트는 내부 직원들이 에이전트 도구를 활용해 스스로 에이전트를 만드는 '시민 개발자' 현상이 확산하며 문제가 발생했다. 혁신은 빨라졌지만, 조정 없이 중복된 에이전트가 수십 개씩 만들어지는 부작용이 나타났다. 월마트는 도구 사용을 제한하는 대신, 중복을 감지하고 최적의 버전을 선별해 운영 환경에 배포하는 거버넌스 체계를 구축해 엔지니어링 병목을 해결했다.
젠데스크는 데이터 인프라에서 벽에 부딪혔다. 200억 건에 달하는 고객 대화 데이터를 단순히 거대 언어 모델의 넓은 컨텍스트 윈도우(Context Window, 모델이 한 번에 처리할 수 있는 데이터 양)에 밀어 넣는 방식으로는 원하는 에이전트를 구현할 수 없었다. 결국 모델의 성능에 기대기보다 하부의 데이터 파이프라인과 데이터 인프라 자체에 투자하는 방향으로 선회했다.
'모델 중심'에서 '인프라 독립'으로 옮겨가는 채택 흐름
세 기업의 사례는 AI 에이전트 채택의 중심축이 '어떤 모델을 쓸 것인가'에서 '어떻게 모델로부터 독립적인 인프라를 갖출 것인가'로 이동하고 있음을 보여준다. 특히 특정 모델 제공사에 종속되지 않으려는 '벤더 불가지론(Vendor Agnostic)' 전략이 뚜렷하게 나타난다.
링크드인은 모든 모델 호출이 통과하는 단일 인터페이스인 'AI 게이트웨이'와 모델 제공사와 무관하게 컨텍스트를 유지하는 '메모리 서브시스템'을 구축했다. 이를 통해 퍼블릭 클라우드나 온프레미스 데이터 센터 어디서든 동일한 API 호출 세맨틱을 유지하며 모델 제공자를 빠르게 교체할 수 있는 구조를 만들었다.
월마트 역시 내부 게이트웨이를 통해 워크로드를 세 가지(완전 결정론적 워크플로, 개방형 작업을 위한 플래너-추론자 워크플로, 그리고 이 둘의 하이브리드)로 구분해 관리한다. 보안과 규제가 중요한 작업은 설계 단계부터 결정론적 방식으로 고정하고, 거버넌스와 평가 프로세스는 게이트웨이에서 일괄 처리한다. 이들에게 프런티어 모델(Frontier Model, 최첨단 성능의 상용 모델)과 오픈 웨이트 모델(Open-weight Model, 가중치가 공개된 모델)의 선택 기준은 고정된 정책이 아니라 특정 워크로드에 대한 효과성이다.
전반적인 흐름은 가능한 한 모델과 인프라를 자체 소유하되, 프런티어 랩(Frontier Labs)의 모델은 고도의 추론 능력이 필요한 좁은 영역에서만 활용하는 방향으로 좁혀지고 있다. 젠데스크는 기업들이 가능한 한 모델과 인프라를 직접 소유하길 원하며, 프런티어 모델이 압도적 우위를 가진 추론 영역의 비중은 전체 AI 활용 사례에서 점차 줄어들고 있다고 분석했다.
실무자가 주목해야 할 세 가지 실행 지점
이번 사례들은 한국의 AI 실무자와 기업들이 에이전트 도입 시 모델 벤치마크보다 우선순위에 두어야 할 지점을 제시한다.
첫째는 평가 체계(Evals)의 선제적 구축이다. 젠데스크는 내부용이든 고객용이든 모든 유스케이스에 공통적으로 필요한 것은 견고한 평가 체계라고 강조했다. 문제를 세분화하고 이를 측정할 수 있는 평가 기준이 먼저 마련되어야 도입 속도를 높일 수 있다.
둘째는 에이전트 하네스(Agent Harness, 에이전트 실행 및 제어 환경)의 직접 소유다. 월마트의 사례처럼 직원들이 직접 에이전트를 만들 수 있는 환경을 조기에 제공하되, 이를 모니터링할 수 있는 인프라를 함께 구축하는 것이 내부 혁신을 끌어내는 핵심이다.
셋째는 모델 및 컨텍스트 독립성 확보이다. 현재의 프런티어 모델이 내일의 오픈 소스 모델로 대체될 수 있음을 전제해야 한다. 기업 내부의 컨텍스트를 특정 모델 제공사의 저장소가 아닌 자체 인프라 내에 보유해야, 향후 모델이나 하네스를 교체하더라도 데이터와 경험을 그대로 재사용할 수 있다.
