Smartsheet, AWS 기반 MCP 서버로 토큰 30억 개 절감

ChatGPT나 Claude 같은 AI를 업무에 쓰지만, 회사 내부의 복잡한 데이터 시트와 연동해 자동화하는 일은 여전히 어렵다. 생산성 도구를 사용하기 위해 프로젝트 맥락과 고객 이름, 진행 상황을 매번 수동으로 입력하는 반복 업무가 발생하기 때문이다. 대부분의 기업 시스템은 AI 에이전트가 읽을 수 있는 구조로 설계되지 않았다. Smartsheet는 이러한 데이터 접근의 단절을 해결하기 위해 AWS 인프라 위에 원격 MCP 서버를 구축해 AI 에이전트가 기업 내부 데이터와 기능에 직접 접근하는 표준화된 통로를 마련했다.

MCP(Model Context Protocol)는 AI 모델과 데이터 소스를 연결하는 표준 규격으로, 모델이 외부 도구와 데이터를 일관된 방식으로 사용하게 돕는다. Smartsheet는 이 서버를 통해 Amazon Quick 및 Anthropic의 Claude Desktop과 시스템을 연동했다. 사용자는 자연어로 프로젝트 데이터를 분석하고 작업을 업데이트하며, 새로운 시트 생성이나 워크스페이스 관리 업무를 AI가 직접 수행해 데이터 접근 단계를 줄였다.

커스텀 AI 에이전트는 MCP를 통해 Smartsheet 내에서 요구사항 캡처, 담당자 작업 할당, 테스트 결과 첨부, 문서 초안 작성 과정을 자율적으로 조율한다. 이 작업들이 실제 사람이 사용하는 시트 내에서 동일하게 수행됨에 따라, 기존에 수주가 소요되던 복잡한 비즈니스 워크플로가 수 일 또는 수 시간 단위로 단축됐다. 내부 텔레메트리 측정 결과, 서비스 출시 이후 30억 개 이상의 토큰을 절감하는 성과를 거뒀다.

AI 전용 인터페이스와 AWS Fargate 기반의 확장 구조

Smartsheet는 데이터를 주고받는 통로인 인터페이스를 최적화해 효율을 높였다. 기존 API와 중앙 지능 계층 위에 AI 최적화 인터페이스를 추가로 구축해 LLM이 기업 데이터를 안정적으로 다루게 하고, 토큰 비용 최소화와 환각 현상 방지를 위한 필터 역할을 수행하게 했다. AI가 이해하기 가장 좋은 형태로 데이터를 가공해 전달함으로써 불필요한 토큰 소모를 줄이고 응답 정확도를 높였다.

인프라는 Amazon ECS 기반의 AWS Fargate 서버리스 구조로 운영된다. AI 에이전트는 스스로 도구 호출 시퀀스를 구성해 1초에 여러 번의 요청을 보내다가 추론 단계에서 요청이 급감하는 특유의 트래픽 패턴을 보인다. Smartsheet는 이를 처리하기 위해 ALB(Application Load Balancer) 패턴을 적용해 유입 트래픽을 분산했다. 서버리스 컨테이너 환경을 통해 물리 서버 관리 부담을 제거하고, 예측 불가능한 요청량 변화에 즉각 대응하는 컴퓨팅 확장성을 확보했다.

배포와 운영 단계에서는 Amazon ECR과 자동화된 CI/CD 파이프라인을 사용한다. ECS 배포 서킷 브레이커가 실시간으로 컨테이너 상태를 감시하며, 롤아웃 중 실패가 감지되면 즉시 마지막 안정 버전으로 자동 롤백한다. 이를 통해 관리자의 수동 개입 없이 장애 전파를 막고 서비스 연속성을 유지한다. 이미지 저장소부터 배포까지의 전 과정 자동화로 배포 주기를 단축하면서 안정성을 확보했다.

일반 API와 다른 AI 에이전트의 '버스트' 트래픽 처리

이러한 확장 구조는 AI 에이전트 특유의 불규칙한 요청 패턴을 처리하는 데 핵심적인 역할을 한다. AI 에이전트는 작업을 수행할 때 1초에 여러 개의 도구 호출을 자율적으로 쏟아내다가 모델이 추론하는 동안 정적 상태가 되는 버스트(Bursty) 패턴을 보인다. 이는 사용자의 클릭에 반응하는 전통적인 API 트래픽과 달리 예측 불가능한 급증과 급감이 반복되는 특성을 갖는다.

Smartsheet는 이 패턴을 처리하기 위해 ECS 오토스케일링에 타겟 추적 정책을 적용해 트래픽 양과 컴퓨팅 활용도를 동시에 관리한다. LLM 최적화 직렬화 같은 서버 측 처리 과정이 단순 프록시보다 더 많은 자원을 소모하므로, 단순 요청 수가 아닌 실제 연산 자원 사용량을 측정하는 컴퓨팅 인지형 스케일링을 통해 요청 폭증 상황에서도 성능 저하를 막았다.

검증 단계에서는 LLM을 루프에 포함한 엔드투엔드(E2E) 테스트를 도입했다. MCP 도구의 응답은 LLM이 해석하고 추론한 뒤 전달되므로 결과가 매번 달라질 수 있는 비결정론적 특성이 있기 때문이다. 워크스페이스 생성이나 데이터 쿼리 같은 실제 비즈니스 시나리오를 시뮬레이션해 LLM의 해석 단계까지 포함된 전체 흐름을 검증한다.

실시간 안정성을 위해 15분 간격으로 카나리 테스트를 수행한다. 전체 인증 및 게이트웨이 경로를 통해 다단계 MCP 워크플로를 실제로 실행하고, 결과를 모니터링 스택으로 전송해 성능 저하를 선제적으로 발견한다. 기업용 AI 에이전트 인프라에서는 LLM의 추론 주기와 맞물린 트래픽 변동성 및 비결정론적 응답에 대한 검증 체계가 필수적이다.

readOnlyHint와 OpenTelemetry를 통한 엔터프라이즈 거버넌스

Smartsheet는 AI 에이전트의 데이터 조작 실수를 막기 위해 `readOnlyHint`와 `destructiveHint` 어노테이션을 도입했다. AI 클라이언트는 이 태그를 통해 읽기 전용 작업인지 혹은 데이터를 삭제하는 파괴적 작업인지 판단해 사용자에게 확인 절차를 자동으로 요청한다. 권한 관리는 조직 단위로 계층화하여, 관리자가 AI 접근을 전역적으로 허용하거나 비파괴 작업만 제한적으로 허용하는 방식으로 도입 속도를 조절한다.

모든 호출 과정은 OpenTelemetry 기반의 로그, 트레이스, 메트릭으로 기록된다. 도구 호출 시 사용자 정보, 조직, 도구 이름, 실행 결과 등 컨텍스트를 수집하며, 이 로그는 Amazon Kinesis를 거쳐 Amazon OpenSearch Service로 실시간 스트리밍된다. AI 에이전트는 하나의 요청으로 여러 도구를 연쇄 호출하므로 전체 경로를 추적하는 텔레메트리 설계가 필수적이다.

인프라 상태는 Amazon CloudWatch로 감시하고, 개별 도구 성능은 Datadog APM으로 분석하며, 장애 시 PagerDuty로 알림을 전달한다. 또한 모든 호출 이벤트는 Amazon SQS를 통해 인텔리전스 레이어로 전송되어, 어떤 도구가 많이 쓰이고 어디서 병목이 발생하는지 분석해 최적화 우선순위를 결정하는 피드백 루프로 활용한다.

기업용 AI 에이전트 도입 시에는 모델의 자율성과 통제권 사이의 균형이 중요하다. `readOnlyHint`처럼 모델이 스스로 위험을 인지하게 하는 장치와 연쇄 호출 경로를 가시화하는 트레이싱 인프라 구성이 거버넌스 확보의 핵심이다.

한국 SaaS 기업이 MCP 도입 시 고려할 보안과 비용 기준

Smartsheet는 AWS WAF와 AWS Shield를 엣지 단에 배치해 외부 공격을 차단한다. VPC 내부에 프라이빗 서브넷을 구성하고 서비스 간 통신에는 mTLS(상호 TLS)를 적용했으며, 인증되지 않은 요청은 OAuth2 프록시 단계에서 즉시 거부하는 방어 체계를 구축했다.

공유 프록시 서버 접속 환경에서 IP 기반 속도 제한의 한계를 해결하기 위해, AWS WAF에서 ID 헤더 기반의 레이어드 속도 제한(Layered Rate Limiting)을 구현했다. 엣지 보호, 사용자 식별 헤더 기반 측정, 고비용 경로별 제어라는 3단계 규칙을 적용해 IP 주소가 같더라도 개별 세션 단위로 트래픽을 측정함으로써 특정 사용자의 과도한 요청이 전체 서비스 품질을 떨어뜨리지 않게 제어한다.

보안 거버넌스를 위해 도메인 서비스(Domain Services)를 통해 UI 접근 권한과 MCP 접근 권한을 일치시켰다. 사용자가 웹 화면에서 접근 권한이 없는 시트는 AI 에이전트를 통해서도 접근할 수 없도록 API 게이트웨이 계층에서 권한 검증을 수행한다. 이를 통해 AI를 데이터 접근의 우회 경로로 활용하려는 시도를 차단한다.

한국 SaaS 기업이 유사한 체계를 구축하려면 인프라 확장성과 비용 최적화의 균형이 필요하다. AWS WAF 적용 시 단순 요청 횟수가 아니라 토큰 소모량이 많은 무거운 경로를 분리해 제한하는 것이 효율적이다. 또한 mTLS와 OAuth2 프록시로 인증 계층을 분리하면 백엔드 서버가 데이터 처리와 LLM 최적화 인터페이스 제공에만 집중할 수 있다. 보안 거버넌스의 핵심은 UI 수준의 권한 체계를 API 수준까지 일관되게 확장하는 것이다.

AI 에이전트의 실무 효용은 모델의 지능보다 데이터를 얼마나 효율적으로 전달하느냐는 인프라 설계에서 결정된다. Smartsheet 사례는 MCP와 AWS Fargate를 통해 비용과 확장성이라는 기업용 AI의 난제를 해결한 실전 모델이다.

단순히 AI를 연결하는 것을 넘어, 토큰 비용을 낮추는 전용 인터페이스와 트래픽 변동성을 견디는 서버 구조를 갖추는 것이 운영 비용을 결정하는 실질적인 기준이 된다. 결국 기업용 AI의 완성도는 프롬프트가 아니라 데이터 접근의 표준화와 인프라의 유연함에서 판가름 난다.