facts

익스피디아 그룹(Expedia Group)이 AI 모델을 개별 팀의 유스케이스를 넘어 전사적 규모로 확장하기 위한 ML(머신러닝) 및 AI 운영 원칙을 발표했다. 이번 발표의 핵심은 AI 기능 출시 전 필수 점검 항목을 설정한 '에이전틱 릴리스(Agentic Release)' 톨게이트(Tollgates)의 도입이다.

에이전틱 릴리스 톨게이트는 AI 에이전트가 사용자를 대신해 의사결정을 내리는 자율 시스템의 특성을 고려해 설계됐다. 주요 점검 항목으로는 명확한 소유권(Clear Ownership), 리스크 기반 거버넌스(Risk-based Governance), 평가(Evaluation), 안전한 배포(Safe Rollout), 모니터링(Monitoring)이 포함된다. 익스피디아는 이 권장 및 필수 체크리스트를 소프트웨어 개발 생명주기(SDLC, Software Development Life Cycle)에 자동화하여 통합하는 과정을 진행 중이다.

모델 도입의 최우선 판단 기준은 기술적 지표의 향상이 아니라 비즈니스 결과와 여행자 경험의 실질적 개선 여부로 설정했다. 이에 따라 모든 ML 작업은 핵심 비즈니스 성과 지표(KPI) 또는 여행자 경험 지표와 직접 연결되어야 하며, 모델이 창출하는 가치가 개발, 학습, 모니터링 비용 및 운영 복잡도를 정당화할 수 있는 '비용 대비 수익(Return on Cost)' 구조를 갖춰야 한다.

how-it-works

모델의 설계와 검증 단계에서는 '단순함에서 복잡함으로' 향하는 단계적 접근 방식을 적용한다. 개발자는 먼저 기존의 일반 모델, 단순 휴리스틱(Heuristic), 또는 기성 솔루션(Off-the-shelf solution)을 활용해 강력한 베이스라인(Baseline)을 구축해야 한다. 전문화된 모델이나 복잡한 아키텍처는 단순한 옵션으로 목표 성능을 달성할 수 없을 때만 도입하는 것을 원칙으로 한다.

검증 파이프라인은 오프라인 검증과 온라인 평가를 모두 거치도록 강제한다. 오프라인 검증만으로 광범위한 배포를 진행하거나, 반대로 오프라인 단계 없이 바로 A/B 테스트로 진입하는 것을 금지한다. 최종 목표는 오프라인 평가 결과가 온라인에서의 실제 성능을 신뢰성 있게 예측하도록 정렬하는 것이다.

인프라 구조 측면에서는 개별 팀이 독립적인 스택을 구축하는 대신, 전사적으로 공유되는 플랫폼 기반의 파운데이션(Shared Foundations)을 우선 사용한다. 핵심 기능, 데이터 표현, 모델 빌딩 블록을 공유함으로써 파운데이션이 개선될 때 그 이점이 조직 전체로 확산되도록 설계했다. 데이터는 '1급 제품(First-class product)'으로 취급하며, 명확한 스키마, 소유권 문서화, SLA(서비스 수준 협약)가 포함된 견고한 파이프라인과 재현 가능한 피처(Feature) 관리를 요구한다.

implementation-impact

실무 운영 단계에서 가장 크게 변하는 점은 모델의 책임 소재를 명확히 하는 소유권 구조다. 모든 모델은 생애주기 전반에 걸쳐 다음 네 가지 역할을 정의해야 한다.

1. 비즈니스 소유자(Business Owner)

2. 제품 소유자(Product Owner)

3. AI 소유자(AI Owner)

4. 운영 소유자(Operational Owner)

이 역할들은 한 사람이 여러 개를 맡을 수 있으나, 책임 범위는 명시적으로 구분된다. 이는 모델 드리프트(Drift) 발생 시 대응 주체와 심야 시간대 장애 발생 시 응답자를 명확히 하여 '주인 없는 모델'이 되는 리스크를 방지하기 위함이다.

거버넌스는 리스크의 크기에 비례해 차등 적용된다. 수백만 명의 여행자에게 영향을 주는 가격 책정이나 예약 가능 여부 관련 고객 접점 모델은 내부 팀용 도구보다 훨씬 높은 수준의 검토와 평가, 인간 개입(Human-in-the-loop) 체크포인트를 요구한다.

배포 및 운영 단계에서는 안전한 롤백(Rollback) 경로와 폴백(Fallback) 메커니즘, 서킷 브레이커(Circuit Breaker)를 출시 전 반드시 준비해야 한다. 배포 후에는 품질, 드리프트, 지연시간(Latency), 비용, 비즈니스 성과를 지속적으로 모니터링하며, 데이터 변화에 따라 모델을 재학습하거나 재교정(Recalibrate)하는 프로세스를 운영한다.