99% 성공률 뒤에 숨은 '침묵의 실패'와 11가지 행동 분류

대시보드상 성공률이 99%이고 지연 시간이 정상 범위여도 주문 수정 누락이나 재고 확인 오류 같은 고객 불만은 계속 발생한다. Amazon Bedrock AgentCore는 에러 시그널이 없는 행동 실패(Behavioral Failure)를 11가지 분류 체계로 탐지해 이 간극을 메운다. 인프라 지표가 놓치는 논리적 오류를 정형화된 체계로 분류해 운영자가 실제 실패 지점을 찾아내게 한다.

시스템상으로는 성공으로 처리되었으나 실제 결과가 틀린 상태를 침묵의 실패(Silent Failure)라고 정의한다. AgentCore는 수집된 트레이스 데이터(시스템 실행 경로 기록)를 분석해 개별 세션의 실패를 넘어 에이전트 성능에 영향을 주는 광범위한 패턴을 식별한다.

분석 과정에서는 정책 준수 여부와 행동의 정확성을 추론한다. 환각(Hallucination), 잘못된 행동, 작업 지침 위반, 오케스트레이션 오류, 컨텍스트 처리 문제 등 총 11가지 행동 실패 카테고리를 제공한다. 탐지된 각 실패는 트레이스 내 발생 위치, 카테고리, 구체적인 오류 내용이 자연어 설명으로 기록된다.

개별 세션에서 발생한 수백 건의 실패 설명은 클러스터링(Clustering, 유사한 특성끼리 그룹화) 과정을 거친다. 운영자는 수백 개의 개별 트레이스 항목을 일일이 확인하는 대신, 단일 명칭을 가진 하나의 패턴으로 변환된 결과를 확인해 에이전트의 실제 행동과 설계 의도 사이의 괴리를 파악한다.

실행 그래프 가지치기를 통한 근본 원인 분석(RCA) 구조

50단계에 달하는 긴 워크플로우를 핵심 실행 경로로 압축해 실패의 직접적 원인을 찾아낸다. 세션의 모든 과정은 추론 호출, 도구 실행, 하위 에이전트 호출이라는 개별 단위인 스팬(Span)들의 그래프 형태로 기록된다. 시스템은 여기서 실패 결과와 논리적 연관성이 없는 분기를 제거하는 가지치기(Pruning) 과정을 통해 실제 오류를 유발한 핵심 경로만 남겨 분석 데이터 양을 줄인다. 이는 방대한 로그 속에서 인과관계를 추적하는 시간을 단축한다.

AgentCore는 실패 지점에서 역방향으로 실행 그래프를 추적해 실제 원인이 된 지점을 식별한다. 분석 결과물은 로그 내 특정 지점을 가리키는 `Span ID`와 인과관계 분류, 그리고 수정 권장 사항으로 구성된다. 수정 권장 사항은 시스템 프롬프트 변경, 도구 설명 업데이트, 인프라 작업 세 가지 범주로 제시된다. 이를 통해 도구 설명 부족으로 인한 오호출인지, 프롬프트 지침의 모호함 때문인지를 구분해 낸다. 개발자는 식별자를 통해 로그의 정확한 위치에서 입력과 출력 값을 대조하며 해결책을 적용한다.

개별 세션에서 찾아낸 근본 원인들을 클러스터 내에서 다시 그룹화하여 공통 패턴을 식별한다. 예를 들어 100건의 실패 사례 중 90건이 동일한 근본 원인과 수정 유형을 공유하고 있음을 수치로 확인한다. 이는 가장 영향력이 큰 단일 원인을 해결해 전체 성공률을 빠르게 끌어올리는 전략을 가능하게 하며, 리소스 투입 우선순위를 명확히 한다.

범위 랭킹과 행동 맵을 활용한 최적화 우선순위 결정

범위 랭킹은 전체 분석 세션 대비 해당 실패 클러스터가 영향을 준 세션 수로 우선순위를 정렬한다. 예를 들어 '정보 수집 우회'라는 상위 클러스터가 116개 세션에서 발견되고, 그 아래 '필수 정보 검색 누락'이라는 하위 패턴이 114개 세션에서 나타나는 계층 구조로 세분화한다. 개발자는 이 수치를 통해 전체 트래픽의 상당 부분에 영향을 주는 핵심 결함을 먼저 수정한다.

사용자 요청 클러스터링은 실제 입력 프롬프트를 임베딩(텍스트를 수치 벡터로 변환해 유사성을 계산하는 기술)하여 설계된 유스케이스와 실제 사용 패턴의 일치도를 분석한다. 분석 결과 전체 트래픽의 40%는 설계된 유스케이스에 해당하고, 30%는 부분적으로 지원하며, 나머지 30%는 예상하지 못한 요청인 식으로 분포를 확인한다. 이는 지원하지 않는 요청에 대해 가드레일을 세우거나 기능을 추가하는 판단 기준이 된다.

실행 요약은 에이전트가 취한 접근 방식과 최종 결과를 계층적으로 정리한다. 에이전트가 도구를 호출하지 않고 금융 데이터를 환각하는 사례가 10개 세션 중 1개에서 발생했다면, 이는 데이터 검색 전 실제 데이터를 확보하라는 시스템 프롬프트 지침을 위반한 결과다. 실행 요약은 에이전트가 구체적인 수치적 주장을 제시하면서도 가용한 데이터 검색 도구는 사용하지 않은 경로를 기록하여, 시스템 프롬프트의 어느 부분을 수정해야 할지 명확히 한다.

AgentCore Insights 설정 및 실무 적용 프로세스

AgentCore Insights는 콘솔 설정만으로 에이전트의 행동 패턴을 정기적으로 분석하는 체계다. AgentCore 콘솔의 Optimizations 메뉴에서 Insights를 거쳐 `Create Insights` 경로로 진입하면 분석 환경을 구성할 수 있다. 분석 대상은 실패 모드, 사용자 의도, 실행 요약 중 선택한다. 실행 요약은 에이전트의 실제 행동이 설계자의 의도와 어디서부터 어긋나는지를 패턴 단위로 보여주어 실패 지점을 특정한다.

데이터 소스는 S3 버킷 또는 Bedrock 세션 데이터를 지정하여 연결한다. 실행 모드는 특정 기간의 데이터를 즉시 분석하는 일회성(One-time) 모드와 일, 주, 월 단위로 리포트를 자동 생성하는 정기적(Recurring) 모드로 구분한다. 정기적 모드를 활성화하면 백그라운드에서 세션 데이터가 자동으로 처리되어, 대규모 트래픽 환경에서도 최신 행동 패턴의 변화를 지속적으로 추적하고 운영 공수를 줄일 수 있다.

필터 및 샘플링 설정을 통해 분석 범위를 특정 세션으로 제한하거나 전체 트래픽의 일부만 추출하여 처리 효율을 높인다. 로그 액세스 권한은 IAM(Identity and Access Management) 역할을 통해 구성하여 AgentCore가 S3나 Bedrock의 세션 로그에 안전하게 접근하도록 제어한다. 모든 설정이 완료되면 텔레메트리 데이터가 분석 파이프라인으로 유입되어 클러스터링 단계로 이어진다.

개별 트레이스를 전수 조사하는 대신 영향도 순위(Scope Ranking)를 활용해 가장 많은 세션에 영향을 주는 단일 수정 지점을 즉시 식별하는 것이 실무적인 최적화 기준이 된다.