내부 검증 통과한 AI 에이전트 50%가 실제 현장에서 실패
기업들이 AI 에이전트에게 부여하는 권한은 늘고 있지만, 이를 검증할 수 있다는 자신감은 오히려 무너지고 있다. 2026년 6월 VB Pulse가 직원 100인 이상 기업의 응답자 157명을 대상으로 조사한 결과, 기업의 절반(50%)이 내부 평가를 통과해 배포한 AI 에이전트나 LLM(대규모 언어 모델) 기능이 실제 고객 접점에서 실패를 일으킨 경험이 있다고 답했다. 이 중 4분의 1은 이러한 실패를 한 번 이상 반복해서 겪었다.
주목할 점은 이러한 불안정성에도 불구하고 자동화 속도를 늦추는 기업은 드물다는 것이다. 응답자의 66%가 이미 인간의 검토 없는 프로덕션 배포를 허용하고 있거나, 향후 12개월 내에 이를 도입할 시스템을 구축 중이다. 하지만 정작 배포 결정의 근거가 되는 자동 평가 도구를 완전히 신뢰한다는 응답은 5%에 그쳤다.
기업 규모가 클수록 이러한 경향은 더 뚜렷하다. 직원 2,500명 이상의 대기업은 '인간 없는 배포(zero-human deployment)'로 전환하는 비율이 70%로 중소기업(64%)보다 높았다. 동시에 고객 접점에서 실패를 경험한 비율 역시 대기업이 54%로 중소기업(48%)보다 높게 나타났다.
'선 배포 후 보완'에서 거버넌스 구축의 '레트로핏 사이클'로
이러한 현상은 AI 에이전트의 특성이 기존 소프트웨어 테스트 방식과 완전히 다르기 때문에 발생한다. 전통적인 테스트는 정의된 입력값이 예상된 출력값을 내놓는지를 확인한다. 반면 AI 에이전트는 스스로 단계별 순서를 정하고, 도구를 호출하며, 데이터를 검색하고 상태를 변경한다. 실행할 때마다 응답이 달라질 수 있어, 개별 결정이 그럴듯해 보여도 최종 결과는 틀릴 수 있는 구조다.
기업들이 자동 평가를 신뢰하지 못하는 가장 큰 이유는 실제 결과와의 정렬 부족(29%)이었다. 이어 편향성 및 일관성 부족(21%), 설명 가능성 부족(18%), 데이터 유출 및 개인정보 우려(17%) 순으로 나타났다. 이는 자동 평가 점수가 실제 고객이나 직원이 에이전트를 사용할 때 벌어지는 상황을 제대로 예측하지 못하고 있음을 의미한다.
이에 따라 시장의 흐름은 에이전트를 먼저 배포한 뒤, 이를 통제할 수 있는 계층을 나중에 덧붙이는 '레트로핏(Retrofit, 사후 보완) 사이클'로 진입하고 있다. 정체성 관리, 평가, 비용, 컨텍스트 및 오케스트레이션(Orchestration, 여러 모델과 도구의 조율) 시스템을 구축해 에이전트 배포를 관리 가능하고 신뢰할 수 있게 만드는 방향으로 예산과 관심이 이동하고 있다. NIST(미국 국립표준기술연구소) 역시 통제된 환경의 측정값이 실제 배포 환경으로 그대로 전이되지 않으므로, 현장 테스트와 배포 후 모니터링, 명확한 실패 에스컬레이션 프로세스가 필요하다고 가이드한다.
한국 AI 실무자가 주목해야 할 '반복 가능성'과 '리스크 경계'
AI 에이전트를 도입하는 개발자와 기업은 이제 '한 번의 성공'이 아닌 '반복 가능성(Repeatability)'을 핵심 지표로 삼아야 한다. 앤스로픽(Anthropic)은 시스템이 여러 번의 시도 중 최소 한 번 성공했는지와 매번 성공했는지를 구분해야 한다고 강조한다. 특히 고객 접점이나 운영 워크플로우에서는 후자가 필수적이다.
실무적으로는 동일한 시나리오를 여러 번 실행하며 문구와 컨텍스트를 변경하고, 도구 호출 실패 상황을 강제로 만들어 최종 비즈니스 결과가 일관되게 유지되는지 측정하는 체계가 필요하다. 또한 모든 프로덕션 사고를 영구적인 회귀 테스트(Regression Test) 세트로 전환해야 한다. 고객의 불만 사항이나 잘못된 도구 호출, 승인 오류 등을 단순 지원 사례로 남기지 않고 배포 전 검증 세트에 즉시 반영하는 구조를 갖춰야 한다.
모든 작업에 인간을 개입시킬 수는 없지만, '인간 없는 운영'은 입증된 신뢰도를 바탕으로 실패의 결과 범위 내에서만 허용되어야 한다. 내부 요약이나 문서 분류 같은 저위험 작업은 넓은 자율성을 부여할 수 있다. 하지만 금융 거래, 고객 통신, 코드 배포, 액세스 제어 변경, 데이터 삭제와 같은 고위험 작업에는 더 엄격한 임계값과 반복적인 일관성 테스트, 정책 확인, 롤백 메커니즘 및 명확한 인간 개입 경로를 설정하는 것이 안전하다.
