아마존이 VB Transform 2026에서 공개하는 AI 신뢰 프레임워크

AI 에이전트에게 회사 데이터베이스 접근 권한을 줬다가 데이터를 삭제하거나 기밀을 유출할 가능성 때문에 도입을 망설이는 기업이 많다. 아마존은 이를 해결하기 위해 VB Transform 2026에서 '신뢰할 수 있는 AI 에이전트 엔지니어링 프레임워크'를 발표한다. 이는 AI가 수행할 작업의 일관성과 안전성을 보장해 기업 환경에서 요구하는 예측 가능성을 확보하는 설계 체계다.

AGI Autonomy 연구소 소장 Bryan Silverthorn은 'Closing the capability-reliability gap: Inside Amazon’s framework for engineering trustworthy agents' 세션을 통해 AI의 이론적 능력과 실제 업무 수행 신뢰도 사이의 간극을 좁히는 방법론을 제시한다. 모델의 파라미터를 늘리는 대신, 에이전트가 작동하는 전체 시스템의 안전장치를 설계하고 검증해 실행 단계의 통제력을 높이는 것이 핵심이다.

Waymo의 시스템 인텔리전스 및 머신러닝 디렉터 Manasi Joshi도 'Intelligence at scale: How Waymo builds safe, efficient AI for the physical world'라는 주제로 세션을 진행한다. 가상 시뮬레이션을 넘어 변수가 많은 실제 도로에서 AI 안전성을 대규모로 구현한 사례를 공유하며, 물리적 움직임이 수반되는 AI 에이전트의 신뢰성을 확보하기 위한 기술적 장치를 다룬다.

샌드박스와 멀티 툴 아키텍처를 통한 통제력 확보

아마존은 모델 내부의 안전 장치에만 의존하지 않고 외부와 격리된 가상 공간인 샌드박스 환경을 활용하는 '분리된 시스템(decoupled systems)' 방식을 적용한다. 에이전트가 데이터 변경 사항을 먼저 제안하면 사람이 이를 검토한 뒤 실제 시스템에 반영하도록 설계해, 금융 거래 내역 삭제와 같은 치명적인 실수를 차단한다.

또한, 단일 에이전트 래퍼(single-agent wrappers) 방식의 한계를 넘어 '멀티 툴 아키텍처(multi-tool architectures)'로 전환한다. 여러 전문 도구를 조합해 작업을 수행하며, 실행 중간에 결과가 잘못되었다고 판단되면 스스로 경로를 수정해 오류를 교정한다. 모델의 답변을 그대로 믿지 않고 실행 과정에서 스스로를 검증하는 구조를 갖추는 것이다.

이러한 기술적 장치가 필요한 이유는 현재 업계가 신뢰하는 성능 지표에 심각한 맹점이 있기 때문이다.

벤치마크 점수보다 중요한 실행 일관성과 안전성

Q2 Pulse Research 설문조사에 따르면, 시니어 기술 리더와 구매자 중 모델 가드레일(내부 안전 필터)만으로 에이전트를 신뢰한다는 응답은 4%에 불과했다. 응답자의 40%는 도구와 데이터 무단 접근을, 27%는 프롬프트 주입 같은 외부 공격으로 인한 오작동을 우려했다. 모델 자체의 방어막만으로는 기업 자원을 맡기기에 부족하다는 점이 수치로 확인됐다.

현재 업계 표준인 EVAL 점수는 특정 시점의 성능을 보여주는 정적인 스냅샷이다. 이는 프롬프트나 입력 유형이 바뀔 때 AI가 얼마나 일관되게 반응하는지를 측정하지 못하며, 정답률이 높다고 해서 실제 업무 환경의 예측 가능성이 보장되지 않는다.

이에 아마존 AGI Autonomy 연구소는 단순한 성능 점수를 넘어 일관성, 견고성, 예측 가능성, 안전성을 측정하는 검증 체계를 구축하고 있다. AI가 얼마나 똑똑한지를 측정하는 단계를 지나, 어떤 상황에서도 정해진 규칙대로 움직이는지 검증해 실질적인 신뢰도를 높이는 방식이다.

AI 에이전트에게 회사 DB 열쇠를 맡기기 전 확인해야 할 것은 모델의 지능 지수가 아니다. AI가 실행 계획을 제안하고 사람이 최종 승인하는 샌드박스, 즉 격리된 안전 구역을 통해 권한을 분리했는지 살펴야 한다.

이제는 벤치마크 점수라는 숫자보다 실제 업무 환경에서 에이전트의 권한 범위를 어떻게 설정하고 검증할지가 도입의 성패를 가른다. 결국 기업용 AI의 신뢰는 모델의 똑똑함이 아니라 통제 가능한 시스템 설계에서 결정된다.