2분당 40건의 폭증하는 문의와 주(State)별 규제 제약

NFL 플레이오프나 슈퍼볼 같은 대형 스포츠 이벤트가 열리면 2분당 40건 이상의 문의가 폭증한다. 찰나의 순간에 승패가 갈리는 스포츠 베팅의 특성상 고객은 즉각적이고 정확한 답변을 원하며, 응답 지연은 곧바로 서비스 이탈과 고객 불만으로 이어진다. Fanatics Betting and Gaming(FBG)은 이러한 트래픽 변동성과 지역별로 상이한 규제 환경을 해결하기 위해 단일 챗봇 구조 대신 멀티 에이전트 시스템을 구축했다.

미국 내 스포츠 베팅 운영은 사업자가 라이선스를 보유한 각 주(State)마다 서로 다른 법적 규제를 따른다. 예를 들어 인디애나주와 뉴저지주 고객은 사용할 수 있는 결제 수단, 입금 한도, 출금 처리 일정, 책임감 있는 게임(Responsible Gaming) 규정까지 모두 다른 답변을 받아야 한다. 여기에 계정 설정 변경, 상세 거래 내역 조회, 복잡한 베팅 규칙 설명, 자기 배제(Self-exclusion) 옵션 설정 등 질의 범위가 매우 넓고 세분되어 있다.

기존의 결정 트리(Decision Tree) 기반 챗봇으로는 이러한 복잡성을 감당하기 어려웠다. 모든 주별 규제 시나리오와 예외 상황을 트리 구조로 설계하면 관리 포인트가 기하급수적으로 늘어나며, 사용자가 정해진 경로를 벗어나면 답을 찾지 못하는 현상이 발생했다. 결국 해결되지 못한 문의가 인간 상담원에게 전가되어 대기 시간과 운영 비용이 상승하는 악순환이 이어졌다.

FBG의 소프트웨어 엔지니어링 시니어 매니저 루이스 페르난데스 로차(Luis Fernandez Rocha)는 서비스 규모가 확장됨에 따라 규제 준수와 답변 정확도를 동시에 높이는 구조가 필요하다고 밝혔다. 데이터와 피드백을 통해 스스로 개선되는 시스템을 구축하는 것이 이번 프로젝트의 목표였다.

Supervisor Agent와 Amazon Bedrock 기반의 오케스트레이션

Amazon Bedrock를 통해 특정 모델에 종속되지 않는 모델 불가지론적(Model-agnostic) 접근 방식을 구현했다. API 표준화를 통해 서비스 전체 코드를 수정하지 않고도 최적의 LLM을 선택하거나 교체할 수 있으며, 새로운 모델 출시 시 설정 변경만으로 즉시 적용해 기술 부채를 줄이고 운영 유연성을 확보했다.

Anthropic Claude 기반의 Supervisor Agent(관리자 에이전트)가 고객의 입력값에서 의도를 추출하고 호출할 도구를 결정한다. 관리자 에이전트는 질문이 계정 설정 변경인지 거래 내역 조회인지 분석해 최적화된 전문 도구를 선택해 실행한다. 도구의 응답이 불충분하면 추가 도구를 호출하거나 질문을 다시 구성하며, 최종적으로 수집된 데이터 결과값들을 자연어 문장으로 합성해 응답을 생성한다. 의도 파악과 도구 실행을 분리해 응답의 정확도를 높이는 오케스트레이션(Orchestration)을 수행하는 구조다.

Amazon Bedrock Guardrails가 AI 레이어에 요청이 도달하기 전 프롬프트 인젝션(Prompt Injection)을 탐지하고 차단한다. 1차 필터링을 거친 메시지는 Amazon Nova 2 Lite 기반의 책임감 있는 게임 분류 에이전트로 전달되어 법적 요구사항을 반영한 분류 체계에 따라 다시 평가된다. Nova 2 Lite는 모든 메시지를 실시간으로 스캔하여 도박 중독 징후나 규정 위반 여부를 분류하는 전담 검수자 역할을 수행한다.

분류 에이전트가 고위험 사례로 판정한 경우, 대화 문맥을 유지한 채 즉시 인간 상담원에게 이관(Transfer-to-Human)한다. 이때 AI가 분석한 의도 정보와 대화 이력이 상담원 화면에 함께 전달되어 고객이 내용을 다시 설명하는 불편함을 없앴다. 위험 징후 발견 시 자동화 단계를 즉시 종료하고 사람의 개입으로 전환해 법적 리스크를 최소화했다.

MCP 서버와 Spring AI를 활용한 도구 연결 방식

계정 서비스와 거래 내역 서비스 같은 외부 REST API 호출을 MCP(Model Context Protocol) 서버로 표준화했다. AI 에이전트가 외부 데이터 소스와 통신할 때 개별 인터페이스를 구축하는 대신 표준 규격으로 데이터를 주고받아, 새로운 데이터 소스 추가 시 발생하는 반복적인 통합 작업과 코드 수정 시간을 줄였다.

Java 기반 기업 환경을 유지하기 위해 Spring AI 프레임워크를 도입해 네이티브 MCP 지원을 구현했다. 이를 통해 Java 언어로 MCP 서버를 제어하고 관리할 수 있으며, 외부 API 명세가 변경되어도 핵심 프롬프트를 수정할 필요 없이 MCP 서버 내의 도구 정의만 업데이트하면 에이전트가 변경된 규격을 즉시 인식한다.

도구의 성격에 따라 로컬 도구와 MCP 서버 도구를 분리해 운영한다. RAG(검색 증강 생성) 툴이나 상담원 이관 툴처럼 내부 지식 베이스를 검색하거나 단순 상태를 변경하는 기능은 로컬 도구로 배치하고, 계정 정보 조회나 거래 내역 확인처럼 외부 시스템의 실시간 데이터가 필요한 기능은 MCP 서버 도구로 할당한다. Supervisor Agent는 질의 의도에 따라 이 두 가지 도구 집합 중에서 필요한 도구를 동적으로 선택해 호출한다.

Python 환경을 선호하는 팀을 위해서는 AWS 오픈소스 SDK인 `Strands Agents`를 대안으로 사용할 수 있다. FBG는 Salesforce Einstein을 채팅 인터페이스 레이어로 사용하고, 실제 AI 로직이 구동되는 Spring AI 서비스는 Amazon EKS(Elastic Kubernetes Service) 상에서 호스팅한다. 고객 메시지가 인터페이스 레이어에서 REST 호출을 통해 EKS의 Spring AI 서비스로 전달되면, 서비스는 MCP 서버와 연결되어 필요한 데이터를 가져와 답변을 생성한다.

독립적 배포와 확장이 가능한 모듈형 아키텍처의 실익

Amazon EKS 상에서 MCP 서버와 Spring AI 서비스를 각각 독립적인 쿠버네티스 서비스로 운영해 전체 시스템 재배포 없이 특정 기능만 업데이트할 수 있다. 인프라를 분리해 두면 특정 에이전트의 요청량이 급증하더라도 해당 서비스의 포드(Pod)만 개별적으로 확장할 수 있어 리소스 낭비를 방지하고 서비스 안정성을 유지한다.

새로운 비즈니스 유닛을 추가하거나 지원 케이스를 확장할 때 기존 시스템의 핵심 코드를 수정하거나 전체를 다시 빌드할 필요가 없다. 특히 MCP 서버 내에 새로운 도구를 추가할 때 포드 재배포 과정 없이 업데이트를 수행할 수 있어, 서비스 중단 없이 비즈니스 로직을 즉시 반영하고 배포 리스크를 최소화할 수 있다.

각 에이전트의 책임을 명확히 분리한 구조는 성능 개선과 반복 실험의 범위를 국소화한다. 특정 에이전트의 프롬프트를 수정하거나 도구 호출 로직을 변경해도 다른 에이전트의 동작이나 전체 워크플로에 영향을 주지 않는다. FBG는 이러한 모듈형 아키텍처를 통해 고객 기반 증가에 따라 비례해서 늘어나던 인간 상담원의 개입 비용 문제를 해결했으며, 저비용 고효율의 운영 구조를 달성했다.

한국 AI 실무자를 위한 도입 판단 기준과 적용점

금융이나 커머스처럼 도메인별 규제가 복잡한 서비스는 단일 LLM보다 전문 에이전트를 분리하는 구조가 유리하다. 상품군이나 지역에 따라 적용되는 법규가 다르고 처리 기준이 엄격한 경우, 도메인별 서브 에이전트를 두고 상위 에이전트가 이를 배분하는 방식이 규제 준수 여부를 개별적으로 검증할 수 있어 관리 효율이 높기 때문이다.

Java와 Spring 생태계를 사용하는 기업은 Spring AI와 MCP 조합이 실무적인 대안이 된다. 기존 개발 인력이 새로운 언어를 배우지 않고도 에이전트 도구를 구현할 수 있어 개발 속도를 높이고 기존 엔터프라이즈 시스템과 AI 기능을 빠르게 결합할 수 있다.

계정 관리나 결제 시스템 같은 외부 API 연동이 핵심인 경우, Supervisor Agent가 의도를 파악해 적절한 MCP 서버 도구를 호출하는 오케스트레이터 패턴을 검토해야 한다. 이 구조를 도입하면 새로운 비즈니스 유닛이나 기능이 추가되어도 핵심 시스템 수정 없이 MCP 서버만 추가해 연결하면 된다.

트래픽 변동이 심한 서비스는 Amazon EKS를 통한 컨테이너 오케스트레이션으로 에이전트별 독립 스케일링 전략을 세워야 한다. 특정 기능에 요청이 몰려도 전체 시스템 성능 저하를 막을 수 있으며, 도구 추가 시 해당 MCP 서버만 업데이트하면 되므로 운영 리스크를 줄일 수 있다.

결과적으로 전체 시스템 재배포 없이 특정 기능만 독립적으로 확장하고 수정하려면 'Supervisor Agent-MCP-Specialized Tool'로 이어지는 오케스트레이터 패턴을 도입하고, Amazon Bedrock Guardrails로 안전장치를 설정하는 운영 기준을 세워야 한다.

Fanatics의 사례는 단순한 챗봇 도입을 넘어, 복잡한 규제와 대규모 트래픽이라는 엔터프라이즈 환경의 제약을 아키텍처 수준에서 어떻게 해결할 수 있는지 보여준다. 특히 표준 프로토콜(MCP)과 모듈형 배포 전략의 결합은 AI 서비스의 유지보수성과 확장성을 결정짓는 핵심 요소가 될 것이다.