AI 에이전트 상용화의 '5% 벽'과 신뢰성의 네 가지 차원

지난 화요일 열린 'VB Transform 2026'에서 아마존의 AGI 자율성 디렉터 브라이언 실버쏜(Bryan Silverthorn)은 기업용 AI 에이전트 시장이 직면한 수치적 괴리를 지적했다. 시스코(Cisco)의 데이터에 따르면 현재 기업의 85%가 AI 에이전트를 시범 운영(Pilot)하고 있지만, 실제 운영 환경(Production)에 배포한 기업은 5%에 그친다. 실버쏜 디렉터는 이 간극이 발생하는 이유가 모델의 절대적인 역량 부족이 아니라 '신뢰성'의 문제라고 분석했다.

그는 프린스턴 대학교의 연구를 인용해 신뢰성을 일관성(Consistency), 강건성(Robustness), 예측 가능성(Predictability), 안전성(Safety)이라는 네 가지 차원으로 세분화해야 한다고 주장했다. 기존의 평가 방식은 이 요소들이 뒤섞여 있어 실제 환경에서의 실패를 예측하기 어렵다는 것이다. 실제로 한 고객사가 소프트웨어 QA를 위해 화면에서 일련번호를 추출하는 에이전트를 도입했을 때, 두 달간 완벽하게 작동하다가 갑자기 오답을 내놓기 시작한 사례가 있었다. 원인은 인간이 인지하지 못한 미세한 소프트웨어 변경으로 인해 비전 인코더가 일련번호의 위치에 따라 다르게 반응했기 때문이었다.

'벤치마크 통과'와 '실제 작동' 사이의 간극

현재 많은 기업이 겪는 문제는 에이전트가 내부 평가(Internal Evaluation)는 통과하지만 실제 고객 환경에서는 무너진다는 점이다. 벤처비트()의 자체 조사 결과, 설문에 참여한 기업의 절반이 내부 평가를 통과한 에이전트를 배포했다가 실제 고객 단계에서 실패를 경험했다. 특히 많은 기업이 에이전트의 '정확도'보다는 '업타임(Uptime, 가동 시간)'을 추적하는 경향이 있는데, 이는 진단 없이 맥박만 확인하는 것과 같다.

채택 과정에서의 리스크 관리 체계도 미비하다. 대부분의 기업이 모델 제조사가 제공하는 평가 지표에 전적으로 의존하고 있으며, 자체적인 가드레일을 구축하지 못한 채 벤더의 말을 믿거나 혹은 아무것도 믿지 못하는 극단적인 상황에 놓여 있다. 기술적으로는 컴퓨터 사용(Computer Use) 기능이 핵심 포커스로 다뤄지고 있으며, 실제로 상용 트럭 고객사가 브라우저 자동화를 통해 분산된 시스템의 보증 청구를 처리하는 사례가 있다. 다만 실버쏜 디렉터는 미래의 에이전트가 컴퓨터 사용 기능 하나에만 의존하지 않고, MCP(Model Context Protocol, 모델 컨텍스트 프로토콜)와 API 등 다양한 도구를 병행해 엔드 투 엔드 워크플로우를 완성하게 될 것이라고 설명했다.

소프트웨어 기술보다 '관리 역량'이 중요해지는 시점

아마존 AGI 랩에서는 AI 에이전트를 '인턴'이라고 부른다. 이는 에이전트가 강력한 능력을 갖췄지만 동시에 때때로 엉뚱한 실수를 저지를 수 있다는 운영 철학을 반영한 것이다. 따라서 에이전트를 다루는 것은 소프트웨어 엔지니어링 기술보다는 '매니지먼트(관리) 기술'에 가깝다. 무엇이 잘못될 수 있는지 질문하고, 백업 체계를 구축하며, 실행 취소(Undo) 기능을 추가하는 등의 리스크 관리 능력이 필수적이다.

실제로 아마존 랩에서는 에이전트에게 "여기서 무엇을 잘못할 수 있는가? 부정적인 결과를 어떻게 완화할 것인가?"를 묻는 방식을 취한다. 연구 속도를 높이기 위해 에이전트가 때로는 잘못된 실험을 수행하는 리스크를 감수하며, 일부 에이전트는 스스로 세운 고수준 연구 계획에 따라 24시간 내내 실험을 진행하기도 한다. 결국 시범 운영의 늪에서 벗어나 상용화에 성공하는 기업은 가장 똑똑한 에이전트를 보유한 곳이 아니라, 에이전트가 단 한 번의 인상적인 성과를 내는 것이 아니라 천 번의 작업을 일관되게 수행하도록 관리할 수 있는 '최고의 관리자'를 가진 기업이 될 것이다.