수 시간의 수동 분석을 수 분의 자동 진단으로 단축한 IFEC AI

파나소닉 에비오닉스는 내부 테스트 결과 수 시간이 소요되던 수동 검토 시간을 수 분의 자동 분석으로 단축했다. 이 변화는 엔지니어가 수천 개의 고유한 배포 설정에 걸쳐 로그, 메트릭, 티켓 데이터를 일일이 대조하며 상관관계를 분석하던 기존의 병목 현상을 해결한다. IFEC(기내 엔터테인먼트 및 연결성) 시스템은 전 세계 수백 개의 항공사와 연간 수십억 명의 승객에게 제공되는 규모이므로, 시스템 장애 발생 시 신속한 원인 진단이 필수적이다. 기존 방식은 숙련된 엔지니어의 깊은 도메인 지식에 의존해 수동으로 데이터를 분석해야 했으나, 이제는 자동화된 진단 체계가 그 역할을 대신하여 분석 시간을 줄인다.

이 시스템의 핵심 스택은 Amazon Bedrock(파운데이션 모델 관리 서비스), Amazon SageMaker(머신러닝 플랫폼), AWS Glue(서버리스 데이터 통합 서비스)로 구성된다. 파나소닉 에비오닉스는 AWS Generative AI Innovation Center(생성형 AI 혁신 센터)로부터 아키텍처 가이드를 받아 이 에이전트 기반 AI 시스템을 구축했다. 도입 목적은 MTTD(평균 탐지 시간)와 MTTR(평균 복구 시간)을 획기적으로 개선하여 서비스 가용성을 높이는 것이다. 엔지니어가 단순 조사에 쏟는 시간인 조사 오버헤드를 줄이고, 대신 솔루션 설계나 최적화, 전략적 신뢰성 향상 같은 고부가가치 작업에 집중하게 만드는 것이 핵심이다. 이를 통해 진단의 엄격성을 유지하면서도 개별 장애 대응을 넘어 플릿 전체의 패턴을 인식하고 선제적으로 상태를 모니터링하는 체계로 진화한다.

전 세계적으로 분산된 항공기 플릿 규모를 감당하기 위해 수요에 따라 확장 가능한 인프라를 구축했다. AWS Glue와 Amazon EMR(관리형 하둡 및 스파크 프레임워크)을 통한 서버리스 데이터 처리를 적용해 대규모 로그 데이터를 효율적으로 다룬다. Amazon Bedrock은 다양한 모델을 유연하게 교체할 수 있는 환경을 제공하며, Amazon SageMaker는 에이전트의 실행 환경을 관리하는 런타임 역할을 수행한다. 이러한 서버리스 구조 덕분에 파나소닉 에비오닉스는 서버 관리 같은 인프라 운영 부담을 덜고, 실제 장애를 찾아내는 진단 로직 구현에만 집중할 수 있다. 결과적으로 대규모 데이터 처리와 모델 유연성을 동시에 확보하여 진단 정확도를 유지하면서 분석 속도를 높였다.

도메인 온톨로지와 Apache Iceberg 기반의 데이터 정규화

이기종 장비가 혼재된 플릿 환경에서는 기기별 로그 기록 방식과 용어가 제각각이라 단순한 데이터 통합만으로는 유의미한 분석이 불가능하다. 이를 해결하기 위해 Amazon S3 데이터 레이크하우스에 Apache Iceberg를 적용하여 저장 구조를 설계했다. Apache Iceberg는 대규모 데이터셋에서 테이블 형태의 데이터를 효율적으로 관리하고 수정할 수 있게 돕는 오픈 테이블 포맷이다. 데이터의 추출, 변환, 적재를 수행하는 ETL 프로세스는 AWS Glue와 Amazon EMR이 처리한다. AWS Glue는 서버리스 데이터 통합 서비스이며 Amazon EMR은 대규모 데이터 처리를 위한 클러스터 플랫폼이다. 이 파이프라인은 플릿 전체에서 수집된 가공되지 않은 원시 운영 데이터를 표준화된 서비스 메트릭으로 변환하여 저장소에 적재함으로써 분석 가능한 상태로 만든다.

서로 다른 설정의 장비들이 사용하는 용어를 하나로 통일하기 위해 도메인 온톨로지를 구축했다. 도메인 온톨로지는 플릿 내의 엔티티와 그들 사이의 관계를 정의한 공유 어휘집이다. 장비의 버전이나 하드웨어 설정 같은 플릿 변형에 따라 동일한 상태를 다르게 표현하는 용어들을 하나의 표준 용어로 매핑하여 데이터의 일관성을 확보한다. 이 어휘 체계는 단순한 용어 통일을 넘어 성능 지표를 장비의 구성 설정 메타데이터 및 유지보수 티켓 정보와 유기적으로 연결하는 가교 역할을 한다. 이를 통해 엔지니어는 서로 다른 구성의 장비 데이터들을 플릿 전체 규모에서 직접 비교하고 분석할 수 있는 통합된 뷰를 확보하며 데이터 간의 상관관계를 명확히 파악할 수 있다.

이렇게 정규화된 데이터는 트렌드 분석 에이전트가 플릿 전체의 상태를 평가하는 핵심 기초 자료로 활용된다. 에이전트는 핵심 성과 지표인 KPI와 서비스 저하 메트릭을 지속적으로 추적하며 이상 징후를 탐색한다. 개별 배포 단위의 로그만 확인했을 때는 단순한 일시적 오류나 개별 장비의 특성으로 보였던 현상이 정규화된 데이터셋에서는 공통된 패턴으로 드러난다. 에이전트는 도메인 온톨로지로 표준화된 지표들을 서로 대조하여 여러 장비에서 동시에 발생하는 서비스 저하 징후를 포착한다. 이는 단일 장비의 국소적인 분석으로는 식별하기 어려운 플릿 전체의 구조적 결함이나 광범위한 시스템 장애 패턴을 찾아내어 진단 정확도를 높이는 기반이 된다.

LangGraph와 pgvector를 활용한 병렬 진단 에이전트 오케스트레이션

병렬 진단 에이전트는 여러 각도에서 동시에 조사를 수행하여 내부 테스트 기준 수 시간의 수동 검토 시간을 수 분의 자동 분석으로 단축한다. Amazon SageMaker는 상태 유지 AI 워크플로우 관리 프레임워크인 LangGraph를 사용하여 에이전트의 실행 순서와 상태를 제어한다. LangGraph는 AI가 수행한 작업의 맥락을 기억하고 이를 다음 단계의 에이전트에게 전달하는 상태 관리 기능을 제공하여 복잡한 진단 경로를 유지한다. 에이전트의 실제 구현과 실행 능력은 AI 에이전트 구축용 오픈소스 파이썬 프레임워크인 Strands Agents SDK가 담당한다. Strands Agents SDK는 파이썬 기반으로 에이전트의 구체적인 행동 양식을 정의하고 이를 실제 인프라 환경에서 실행하는 인터페이스를 제공한다. 각 에이전트는 서로 다른 데이터 소스와 분석 관점을 가지고 동시에 조사를 수행하며, LangGraph는 이들의 결과를 취합하여 최종 진단으로 연결한다. 이 두 도구의 결합으로 다수의 진단 에이전트가 독립적으로 작동하면서도 하나의 통합된 워크플로우 안에서 협업하며 분석 속도를 높인다.

과거의 사고 사례와 해결 방법은 Amazon RDS의 pgvector에 벡터 형태로 저장되어 시스템의 공유 기억 장치 역할을 한다. pgvector는 PostgreSQL 데이터베이스에서 벡터 유사도 검색을 가능하게 하는 확장 기능이다. 시스템은 과거의 사고 기록과 해결 결과물인 아티팩트를 수치화된 벡터 표현으로 변환하여 저장한 뒤, 현재 발생한 장애 증상과 대조한다. 벡터 표현으로 변환된 데이터는 고차원 공간에서의 거리 계산을 통해 유사도를 측정하며, 이는 단순 텍스트 매칭보다 유연한 검색 결과를 제공한다. 이때 시맨틱 검색이라는 의미 기반 검색 방식을 사용한다. 시맨틱 검색은 텍스트의 단순한 키워드 일치 여부를 넘어 문맥적 의미가 유사한 패턴을 찾아내는 기술이다. 이를 통해 현재 발생한 증상이 과거 사례와 정확히 일치하지 않더라도, 가장 유사한 패턴의 해결책을 호출할 수 있다. 이러한 구조는 개별 엔지니어의 경험에 의존하던 해결 방식을 데이터 기반의 시스템 기억으로 전환하여 엔지니어링 조직 전체로 확장한다. 저장된 벡터 데이터는 새로운 사고가 해결될 때마다 업데이트되어 진단 정확도를 지속적으로 높이는 기반이 된다.

Claude 기반의 진단 보고서 합성 및 휴먼-인-더-루프(HITL) 검증

내부 테스트 결과 진단 정확도는 요구사항을 일관되게 초과했으나, 구체적인 수치는 공개되지 않았으며 최종 복구 조치는 엔지니어가 직접 승인하는 구조를 유지한다. Amazon Bedrock(AWS의 완전 관리형 AI 서비스) 상의 Anthropic Claude는 상관 분석, 시스템 체크, 로그 분석 에이전트가 도출한 개별 결과를 하나로 통합한다. 이 모델은 서로 다른 소스에서 수집된 파편화된 정보를 결합해 근본 원인 가설, 영향 분석, 우선순위별 조치 권고가 포함된 구조화된 진단 보고서를 생성한다. 특히 영향 분석 단계에서는 전체 플릿(Fleet, 운영 중인 기기 집합) 중 어떤 세그먼트가 구체적으로 영향을 받았는지 정밀하게 분석하여 장애의 범위와 규모를 명시한다. LLM의 생성 능력은 단순한 텍스트 요약을 넘어 여러 분석 결과 사이의 인과 관계를 짚어내는 추론 작업에 집중적으로 활용되어 진단의 완결성을 높인다.

시스템은 생성된 보고서의 심각도를 기준으로 자동화 범위를 결정하고 실행한다. 심각도가 높은 것으로 분류된 진단 결과는 즉시 알림을 생성하며, 해당 문제 해결에 가장 적합한 엔지니어링 팀으로 자동 라우팅(Routing, 데이터를 목적지로 전달하는 과정)된다. 이 과정에서 AI는 단순히 문제 발생 사실만 알리는 것이 아니라, 분석된 근거와 함께 구체적인 권장 해결 조치(Resolution Actions)를 함께 전달한다. 이를 통해 엔지니어가 수동으로 티켓을 분류하고 담당자를 지정하던 트리아지(Triage, 우선순위 결정 및 분류) 단계를 자동화하여 대응 속도를 높이면서도, 최종 복구 결정에 대한 엔지니어의 감독 권한은 그대로 유지한다.

AI의 권고안이 실제 운영 환경에 적용되기 전에는 엄격한 검증 체계를 거친다. 먼저 그라운드 트루스(Ground Truth, 실제 정답 데이터)를 활용한 교차 검증을 수행하며, 내부 테스트 과정에서 이 방식은 요구사항을 일관되게 초과하는 정확도를 기록했다. 다만 최종 복구 조치 단계에서는 사람이 직접 내용을 확인하고 승인하는 휴먼-인-더-루프(Human-in-the-loop, 인간이 프로세스 중간에 개입해 검증하는 방식) 구조를 채택해 AI의 단독 판단으로 인한 리스크를 방지한다. 또한 에이전트 작업을 원자 단위(Atomic, 더 이상 쪼갤 수 없는 최소 기능 단위)로 설계하고 프롬프트와 로직을 투명하게 관리하여, 솔루션이 확장되는 과정에서 시스템 전체의 변경 없이 특정 에이전트의 동작만 독립적으로 업데이트할 수 있는 모듈성을 확보했다.

실무적 시사점: 모듈형 에이전트 설계와 LLM의 전략적 배치

LLM 사용 범위를 요약과 오류 추론 작업으로 제한하여 생성 모델의 불확실성을 제어한다. 생성 능력이 명확한 가치를 주는 영역, 즉 여러 에이전트가 도출한 분석 결과를 하나의 일관된 보고서로 통합하는 요약 단계에만 모델을 배치했다. 그 외의 과정은 결정론적(Deterministic, 입력이 같으면 항상 같은 결과가 나오는) 출력을 위해 튜닝된 파라미터 설정을 적용했다. 무분별한 생성 모델 사용은 진단 결과의 변동성을 높여 운영 신뢰도를 떨어뜨릴 수 있다. 정해진 규칙에 따라 답이 나와야 하는 진단 단계에서는 파라미터 제어를 통해 응답의 일관성을 강제하여 오판 가능성을 줄였다.

에이전트 작업을 원자 단위(Atomic, 더 이상 쪼갤 수 없는 최소 기능 단위)로 설계하여 시스템 전체를 수정하지 않고 개별 에이전트만 업데이트할 수 있는 구조를 구현했다. 상관 분석이나 시스템 체크, 로그 패턴 매칭과 같은 개별 진단 기능을 독립적인 에이전트로 분리했다. 특정 진단 로직이 변경되거나 새로운 분석 지표가 추가될 때 전체 파이프라인을 재배포할 필요 없이 해당 기능을 수행하는 에이전트만 교체하면 된다. 이 과정에서 에이전트의 모든 결정과 권고 사항에 대한 추적 가능성(Traceability)을 유지하여 감사 가능성을 확보했다. 모듈형 설계는 기능 확장 시 발생하는 예기치 못한 오류를 방지하고 유지보수 효율을 높인다.

자동화된 조치 결과가 전문가의 수동 평가와 일치하는지 확인하는 반복 피드백 루프를 적용해 프로덕션 배포 기준을 엄격히 관리한다. AI가 제안한 근본 원인 가설과 조치 권고가 실제 운영 환경에 적용되기 전, 숙련된 엔지니어가 진단 결과의 타당성을 검토하고 승인하는 단계를 거친다. 전문가의 평가 결과는 다시 시스템의 검증 데이터로 활용되어 AI의 판단 기준을 정교하게 다듬는 근거가 된다. 이러한 인간 참여형(Human-in-the-Loop, AI의 판단 과정에 사람이 개입하여 검증하는 방식) 구조는 자동화 시스템이 가질 수 있는 논리적 허점을 보완하고 실제 현장의 도메인 지식을 시스템에 지속적으로 주입한다.

수천 개의 서로 다른 설정이 존재하는 이기종 장비 군에서 AI 진단 효율을 높이려면, LLM의 생성 능력에 의존하기보다 원자 단위의 에이전트 설계와 결정론적 제어 장치를 통해 진단 파이프라인의 예측 가능성을 확보하는 것이 설계의 핵심 기준이다.