72시간의 탐지 지연을 1시간으로 줄인 '라스트 마일' 검증

BI 및 분석 팀은 대시보드 오류 탐지 시간인 MTTD(Mean Time to Detection)를 최대 72시간에서 1시간 미만으로 단축했다. 이는 인프라 모니터링이 정상임에도 사용자가 빈 차트를 보게 되는 상황을 방지하여, 실제 사용자가 문제를 인지하기 전에 운영자가 먼저 수정할 수 있도록 한 결과다. 최종 사용자에게 도달하는 마지막 단계에서 콘텐츠의 정확성을 검증하는 라스트 마일(Last-mile) 솔루션을 통해 탐지 지연 문제를 해결했다.

기존의 인프라 모니터링은 서버의 작동 상태, API의 응답성, 데이터 파이프라인의 흐름 같은 기술적 지표만 확인한다. 하지만 인프라가 정상적으로 가동된다고 해서 사용자가 보는 화면의 콘텐츠가 반드시 정확하다는 보장은 없다. 시스템은 정상으로 표시되지만 정작 차트가 비어 있거나 잘못된 데이터가 출력되는 침묵의 실패(Silent Failure)가 발생하며, 이러한 기술적 지표와 시각적 결과 사이의 간극이 탐지 지연의 핵심 원인이 된다.

이 문제를 해결하기 위해 Amazon QuickSight(AWS의 비즈니스 인텔리전스 서비스) 기반의 AWS Insights 애플리케이션 내 수백 개 대시보드를 동시에 스캔하는 자동 검증 시스템을 구축했다. Amazon Bedrock(AWS의 파운데이션 모델 관리 서비스)에서 제공하는 LLM을 활용해 대시보드 화면을 시각적으로 분석하고, 요소의 누락이나 수치 오류 같은 이상 징후를 탐지한다. 분석 결과 건강 상태에 문제가 있다고 판단되면 즉시 담당자에게 실시간 알림을 전송하여 대응 속도를 높였다.

전체 솔루션은 총 5단계의 처리 공정으로 설계되었으며, 모든 단계는 서버리스(서버 관리 없이 코드만 실행하는 컴퓨팅 모델) 및 관리형 AWS 서비스로 구성했다. 특히 검증 주기 사이에는 리소스가 0으로 확장되는 scale to zero 특성을 활용해, 고정 비용 없이 실제 검증이 수행되는 사용량에 비례하여 비용이 발생하도록 최적화했다.

캡처부터 마스킹까지, 5단계 서버리스 파이프라인

시각적 검증은 매시간, 수치 검증은 매주 단위로 트리거 주기가 서로 다르게 설정된다. Amazon EventBridge(이벤트 버스, 특정 사건이 발생했을 때 동작을 실행하는 서비스)가 이 주기를 관리하며 전체 검증 사이클을 시작하는 트리거 역할을 수행한다. Amazon Redshift(클라우드 데이터 웨어하우스) 내 설정 레지스트리에는 모니터링 대상인 섹션 식별자와 담당자 할당 정보, 스케줄 선호도 같은 인벤토리 데이터가 상세히 유지된다. 관리자가 매번 수동으로 범위를 지정하지 않아도 레지스트리에 등록된 정보에 따라 자동화된 검증이 작동한다.

AWS Lambda(서버 관리 없이 코드를 실행하는 서비스)는 헤드리스 브라우저(화면 출력 없이 동작하는 브라우저)를 통해 대상 섹션을 캡처한다. 캡처된 이미지는 곧바로 Amazon Rekognition(이미지 및 비디오 분석 서비스)으로 전달되어 이미지 내 텍스트와 숫자를 감지하고 마스킹 처리하여 민감 데이터를 제거한다. 마스킹이 완료된 이미지는 Amazon S3(객체 스토리지)에 저장된 후 Amazon CloudFront(콘텐츠 전송 네트워크)를 거쳐 분석 단계로 전달된다. 이 과정에서 CloudFront를 활용해 네트워크 지연 시간을 최소화하고 분석 단계로의 전달 속도를 높여 데이터 유출 방지와 처리 효율을 동시에 확보했다.

검증 단계에서 시각적 실패가 확인되면 Slack Block Kit(슬랙의 UI 구성 요소 프레임워크) 포맷을 사용해 알림을 생성한다. 알림 메시지에는 영향받은 섹션 이름과 실패 증거 스크린샷, AI 신뢰도 점수, 그리고 즉시 조사가 가능한 모니터링 대시보드 링크가 포함되어 담당자에게 라우팅된다. 지속적인 실패가 발생할 경우 시스템은 자동으로 티켓을 생성해 담당 팀으로 에스컬레이션하며, 수치 불일치 결과는 인간 리뷰어를 위한 검증 보고서로 취합된다. 마지막 5단계에서는 분석 과정에서 발생한 텔레메트리(원격 측정 데이터)를 저장하여 파이프라인의 상태를 기록한다.

LLM의 의미 분석과 코드의 정밀도를 결합한 하이브리드 검증

기존의 시각적 검증 구조에 LLM의 의미 분석과 결정론적 코드의 수치 판정을 결합한 하이브리드 검증 방식을 추가했다. 시각적 검증 단계에서는 Amazon Bedrock의 Anthropic Claude 모델이 빈 타일이나 에러 상태 같은 구조적 이상을 탐지한다. 특히 LLM의 컨텍스트 추론(문맥을 파악해 의미를 도출하는 능력)을 활용해 필터 설정으로 인해 데이터가 실제로 없는 상태인지, 아니면 파이프라인 오류로 인해 차트가 비어 있는지를 구분한다. 이는 단순한 픽셀 비교로는 불가능한 영역이며 LLM이 대시보드의 전체적인 맥락을 이해해야 가능하다. 모델의 출력값은 자유 형식 텍스트가 아닌 신뢰도 점수가 포함된 구조화된 판정으로 제한해 운영 제어권을 확보했다. 모델의 지역별 지원 현황은 Supported models by AWS Region in Amazon Bedrock에서 확인할 수 있다.

수치 검증은 LLM이 의미론적 작업을 수행하고 결정론적 코드(정해진 규칙에 따라 결과를 내는 코드)가 최종 판정을 내리는 구조로 작동한다. 동일한 지표라도 대시보드마다 레이블이나 레이아웃이 다르기 때문에, LLM이 스크린샷에서 지표의 위치를 찾고 값과 단위를 읽어 쌍으로 추출하는 작업을 먼저 수행한다. 하지만 LLM은 반올림 기준이나 허용 오차, 서로 다른 단위의 처리 방식에서 일관성이 떨어지는 한계가 있다. 이를 보완하기 위해 추출된 값을 결정론적 코드로 전달해 수치 정규화를 진행한다. 예를 들어 $1.2B와 $1,200M를 동일한 값으로 변환하거나, 58.484와 58.5 같은 소수점 정밀도를 비교해 최종 일치 여부를 판정한다. LLM은 데이터의 위치와 의미를 파악하는 탐색 도구로 쓰고, 실제 수치 비교는 수학적 정확성이 보장된 코드가 담당하게 하여 판정의 신뢰도를 높였다.

인프라 건강함이 콘텐츠의 정확성을 보장하지 않는 이유

Amazon CloudWatch Synthetics(엔드포인트 모니터링)와 데이터 레이어 검증은 서버 상태와 파이프라인 성공 여부만 확인한다. 필터 설정 오류나 집계 로직 에러로 인해 사용자가 보는 최종 화면에서 데이터가 누락되는 '침묵의 실패'는 기존 체계로 탐지할 수 없으며, 오직 사용자의 신고로만 파악 가능하다. 이러한 문제는 전체 사례의 1% 미만에서 발생함에도 비즈니스 영향도는 치명적이다.

따라서 인프라 모니터링을 대체하는 것이 아니라, 최종 프레젠테이션 레이어에서 시맨틱 판단을 통해 무결성을 확보하는 보완적 검증 단계가 필수적이다. 시각적 요소의 의미론적 위치를 LLM이 파악하고, 추출된 수치를 결정론적 코드로 정규화하여 비교하는 하이브리드 검증 패턴을 통해 운영자는 사용자가 문제를 인지하기 전 선제적으로 대응할 수 있다.

전체 비용 수치는 공개되지 않았으나 서버리스 기반으로 설계되어 사용량에 비례해 비용이 발생하는 구조다.