15~30분의 수동 분석 병목을 해결하는 TReNDS의 인프라 환경

TReNDS 엔지니어들은 단순한 에러 분석을 위해 로그를 읽고 소스 파일을 찾아 실행 경로를 추적하는 과정에 매번 15~30분을 소요했다. Georgia State University, Georgia Institute of Technology, Emory University의 공동 센터인 TReNDS는 2019년부터 Amazon EKS(Amazon Elastic Kubernetes Service) 기반의 연구 도구와 API 인프라를 운영해 왔다. 이들은 FluentBit를 통해 모든 애플리케이션 로그를 Amazon CloudWatch로 전송하는 체계를 구축하여 통합 로그 관리를 수행했다. 기존의 수동 분석 프로세스는 CloudWatch Logs에서 스택 트레이스를 확인한 뒤 GitHub 저장소의 소스 코드를 일일이 대조하는 탐색 과정에서 가장 큰 시간 지연이 발생했다. TReNDS는 이러한 반복적인 조사 과정을 LLM이 수행할 수 있는 영역으로 정의하고 Amazon Bedrock을 활용한 자동화 가능성을 탐색했다.

로그 감지부터 알림까지 이어지는 RCA 자동화 파이프라인

TReNDS는 Amazon Bedrock과 Strands Agents SDK를 결합해 로그 감지부터 원인 분석까지 전 과정을 자동화하는 파이프라인을 구축했다. Amazon CloudWatch Subscription Filters가 ERROR, Exception, FATAL, CRITICAL 패턴을 실시간으로 감시하다 일치하는 로그가 발견되면 AWS Lambda를 호출한다. Lambda 핸들러는 base64로 인코딩되고 gzip으로 압축된 로그 이벤트를 디코딩하여 Strands Agent가 처리할 수 있는 텍스트 데이터로 변환한다. Strands Agent는 Amazon Bedrock의 파운데이션 모델을 통해 에러와 코드, 근본 원인 사이의 관계를 추론하고 분석 리포트를 생성한다. 최종적으로 에이전트는 구조화된 RCA(Root Cause Analysis) 분석 결과를 Amazon SNS(Simple Notification Service) 토픽으로 발행하여 운영 팀에 즉시 전달한다.

@tool 데코레이터를 활용한 도구 중심 에이전트 설계

Strands Agents SDK는 `@tool` 데코레이터를 통해 LLM이 필요에 따라 외부 API를 스스로 호출하는 도구 중심 설계를 지원한다. `fetch_source_code` 도구는 스택 트레이스에 명시된 파일 경로와 줄 번호를 인자로 받아 GitHub API에서 실제 구현 코드를 추출하여 모델에게 제공한다. `fetch_log_context` 도구는 CloudWatch Logs의 특정 logStream을 기준으로 에러 발생 전후의 로그를 시간 순서대로 가져와 요청 맥락과 예외 트레이스를 복원한다. LLM은 개발자가 하드코딩한 결정 트리 없이도 스택 트레이스를 해석해 어떤 도구를 어떤 순서로 호출할지 자율적으로 결정한다. 예를 들어 에이전트는 소스 파일을 먼저 조회한 뒤 추가 맥락이 필요하다고 판단되면 관련 에러 핸들링 코드를 다시 검색하는 연쇄적 추론 과정을 수행한다.

HIPAA 준수를 위한 데이터 레지던시 및 보안 아키텍처

TReNDS는 건강 관련 연구 데이터를 처리하기 위해 미국 의료정보 보호법인 HIPAA(Health Insurance Portability and Accountability Act) 규정을 준수하는 보안 설계를 적용했다. Amazon Bedrock은 모든 요청을 AWS 계정 내부에서 처리하므로 로그 데이터와 소스 코드가 외부 엔드포인트로 전송되지 않고 동일한 환경 내에 머무는 데이터 레지던시를 구현했다. 이 아키텍처는 EKS 외에도 ECS, Lambda, EC2 및 CloudWatch Agent를 사용하는 온프레미스 환경에서도 로그 수집 경로만 CloudWatch로 단일화하면 동일하게 적용 가능하다. 실무자는 AWS HIPAA Eligible Services Reference를 통해 Bedrock을 포함한 각 서비스의 적격 여부를 대조하여 데이터 흐름 상의 보안 접점을 검증할 수 있다.

실무 도입을 위한 배포 전략과 에이전트 판단 기준

개발자는 Strands Agents 공식 Lambda 레이어를 사용하여 SDK를 수동으로 번들링하는 과정 없이 빠르게 배포 환경을 구축할 수 있다. RCA 자동화 구현의 핵심 판단 기준은 단순한 로그 요약 봇을 만드는 것이 아니라, 소스 코드 접근 권한과 로그 추출 함수가 결합된 '도구 기반 에이전트'를 설계하는 것이다. 자동화 파이프라인의 목적은 정답을 확정하는 것이 아니라 엔지니어가 최종 판단을 내릴 수 있도록 근거 자료를 빠르게 수집하여 MTTR(평균 복구 시간)을 단축하는 데 있다. 운영 팀은 SNS로 전달된 분석 리포트의 소스 코드와 로그 컨텍스트가 실제 장애 상황과 일치하는지 최종 검증하는 절차를 반드시 유지해야 한다. 이는 LLM의 추론 결과가 완벽하지 않을 수 있다는 전제하에 숙련된 엔지니어의 판단을 최종 단계에 배치함으로써 오분석으로 인한 복구 지연 위험을 방지하기 위함이다.