헬스케어·리테일 기업의 데이터 활용 병목 현상

한 헬스케어 조직은 매출 거래 내역, 제품 이동 경로, 환자 상호작용, 지역별 성과 지표를 포함한 수년간의 운영 데이터를 Snowflake에 축적했다. 비즈니스 팀은 이 데이터를 활용해 여러 제품 카테고리의 수요를 예측하고 계절적·지역적 소비 패턴을 파악하여 BI 대시보드에 반영하고자 했다. 그러나 조직 내 데이터 사이언스 역량 부족으로 인해 모든 예측 및 분석 요청마다 엔지니어링 또는 ML 전문가의 개입이 필요했다.

전통적인 머신러닝(ML) 방식은 전문 팀 구성과 긴 개발 주기, 과도한 엔지니어링 지원을 요구하여 비즈니스 사용자의 실험 가능성을 제한한다. 데이터를 가장 잘 이해하는 현업 담당자가 가설을 세워도 실제 모델 구현까지 상당한 시간이 소요되는 구조적 지연이 발생한다. 결과적으로 클라우드 데이터 웨어하우스에 방대한 정보가 저장되어 있음에도 이를 실제 비즈니스 예측값으로 변환하는 과정에서 기술적 병목 현상이 지속된다.

이러한 제약은 데이터 보유량과 인사이트 도출 능력 사이의 간극을 만든다. 비즈니스 사용자는 해결해야 할 질문과 데이터의 성격을 정확히 파악하고 있으나, 이를 직접 모델로 구현할 실질적인 수단이 없는 상태다. 따라서 전문 리소스에 대한 의존도를 낮추면서도 기존 Snowflake 데이터와 네이티브하게 작동하는 새로운 접근 방식이 요구된다.

Amazon SageMaker Canvas를 통한 노코드 ML 전환

Amazon SageMaker Canvas는 코딩 없이 데이터셋 탐색, 피처 준비, 예측 모델 구축 및 인사이트 생성을 수행할 수 있는 시각적 인터페이스를 제공한다. 비즈니스 분석가, 제품 소유자, 운영팀은 이 도구를 통해 데이터 사이언스 리소스에 의존하지 않고 직접 예측 모델을 구축한다. 이 워크플로우는 전문 엔지니어링 팀이 파이프라인을 설계하는 시간을 기다리지 않고 현업 담당자가 직접 모델을 실험하고 결과를 확인하는 구조로 전환한다.

노코드 ML 방식은 기존의 데이터 인프라를 교체하는 것이 아니라 Snowflake 투자 가치를 확장하는 방향으로 작동한다. 비기술 사용자가 머신러닝에 접근할 수 있게 함으로써 데이터 기반의 의사결정 속도를 높인다. 특히 분석가가 직접 도메인 지식을 바탕으로 피처(Feature)를 정의함으로써 모델의 실무 적합성을 높이고 수정 주기를 단축한다.

이 과정에서 기업 수준의 보안과 거버넌스는 그대로 유지된다. 노코드 환경에서도 데이터 접근 권한과 관리 규칙은 기존의 데이터 권한 체계를 따르며, 보안 설정을 위해 엔지니어가 수행하던 세밀한 권한 제어 작업을 자동화된 체계 내에서 처리한다. 결과적으로 개발 주기를 결정짓는 핵심 요소가 인프라 엔지니어링 능력에서 비즈니스 도메인 지식으로 이동한다.

Snowflake에서 QuickSight까지의 엔드투엔드 아키텍처

Snowflake의 데이터를 Amazon QuickSight 대시보드로 시각화하는 엔드투엔드(End-to-End) ML 아키텍처는 총 5단계의 흐름으로 구성된다. [Figure 1]

첫 번째 단계에서 사용자는 Snowflake에 저장된 트랜잭션 데이터를 Amazon SageMaker Canvas에 직접 연결한다. 두 번째 단계에서는 Canvas의 시각적 도구를 사용하여 데이터셋을 탐색하고 모델 학습에 필요한 피처를 준비하여 예측 모델을 생성한다. 세 번째 단계에서는 학습이 완료된 모델을 Canvas 모델 상세 페이지에서 Amazon SageMaker Endpoint로 직접 배포한다.

네 번째 단계에서는 배포된 엔드포인트를 통해 Snowflake 트랜잭션 데이터에 대한 실제 예측값을 생성한다. 마지막 다섯 번째 단계에서는 생성된 예측치를 배치 예측(Batch Prediction) 방식으로 처리하여 Amazon S3에 출력하고, 이를 Amazon QuickSight가 불러와 인터랙티브 대시보드로 시각화한다. 이 흐름을 통해 현업 분석가는 인프라 설정이나 커스텀 파이프라인 구축 없이 Snowflake 데이터를 활용해 예측 모델을 배포하고 대시보드화하는 경로를 확보한다.

인프라 설정 없는 모델 배포와 시각화 경로

사용자는 Amazon SageMaker Canvas의 모델 상세 페이지를 통해 Amazon SageMaker Endpoint로 모델을 즉시 배포한다. 이 과정에서 서버 인스턴스 유형 선택, 가상 네트워크 설정, 권한 관리와 같은 하위 레벨의 인프라 구성 단계가 완전히 생략된다. 엔드포인트 상태가 'In service'로 전환되면 시스템은 즉시 Snowflake 트랜잭션 데이터를 바탕으로 예측값을 생성하기 시작한다.

예측 결과의 시각화를 위해 Canvas는 배치 예측 기능을 사용하여 점수화된 데이터셋을 Amazon S3(클라우드 객체 저장소)에 출력한다. 데이터를 추출, 변환, 적재하는 ETL(Extract, Transform, Load) 과정을 위해 별도의 코드를 작성하거나 스케줄러를 설정할 필요가 없다. S3에 저장된 결과 파일은 Amazon QuickSight의 데이터 소스로 직접 연결되어 시각화된다.

이러한 구조는 데이터 사이언티스트의 개입 없이 비즈니스 가설을 세우고 모델을 반복 실험하는 사이클을 가능하게 한다. 분석 결과가 정적인 보고서나 엑셀 파일로 가공되는 중간 단계가 사라지고, 인터랙티브한 대시보드를 통해 이해관계자에게 즉시 공유된다. 의사결정자는 ML이 도출한 예측치를 실시간으로 확인하여 즉각적인 비즈니스 액션을 결정할 수 있다.

1부: AWS 계정 및 Snowflake 환경 설정 단계

본 가이드의 1부에서는 실제 모델 구축에 앞서 AWS 계정을 설정하고 Snowflake 환경을 구성하는 단계를 다룬다. 사용자는 먼저 AWS 계정을 활성화하고 Snowflake 데이터베이스를 생성하여 데이터를 저장할 공간을 마련한다. 이후 샘플 사기 탐지(Fraud Detection) 데이터를 Snowflake에 로드하여 모델 학습의 기초가 되는 원천 데이터를 확보한다.

환경 설정 단계에서는 외부 서비스 연결에 필요한 계정 정보와 인증 키 등 연결 세부 정보를 추출하는 작업이 포함된다. 여기서 확보한 연결 정보는 2부에서 SageMaker Canvas와 Snowflake를 물리적으로 연결하는 식별자로 사용된다. 데이터베이스 생성 과정에서는 적절한 권한 설정과 스토리지 할당이 함께 이루어진다.

전체 3부작 시리즈의 로드맵은 다음과 같다. 1부에서 환경 설정을 완료하면, 2부에서는 Amazon SageMaker Canvas를 Snowflake에 연결하여 데이터를 변환하고 사기 탐지 모델을 구축한다. 3부에서는 생성된 예측값을 Amazon QuickSight로 전송하여 인터랙티브 대시보드를 구현하고 이해관계자와 인사이트를 공유하는 과정을 다룬다.