뱅가드의 한 금융 분석가가 복잡한 데이터셋에서 특정 수치를 찾으려 한다. 하지만 간단한 질문 하나를 해결하기 위해 수십 줄의 SQL(데이터베이스 질의 언어) 문장을 직접 짜거나, 데이터 팀의 답변이 올 때까지 며칠을 기다려야 하는 상황이 반복된다.

AWS 기반의 가상 분석가 인프라

Vanguard(글로벌 투자 관리 기업)는 이 문제를 해결하기 위해 가상 분석가 솔루션을 도입했다. 인프라 구축에는 AWS(아마존 웹 서비스)의 통합 서비스들이 사용되었다. 구체적으로는 Amazon Redshift(대규모 데이터 분석용 클라우드 웨어하우스), AWS Glue(데이터를 수집하고 정리하는 카탈로그 도구), Amazon Bedrock(다양한 AI 모델을 쉽게 사용할 수 있게 돕는 플랫폼)가 핵심 역할을 맡았다.

개발팀은 AI가 신뢰할 수 있는 결과를 내놓기 위해 8가지 가이드 원칙을 세웠다. 먼저 데이터 제품 소유자와 엔지니어링 관리자를 지정해 데이터 신선도와 정확성에 대한 책임 체계를 명확히 했다. 보안 측면에서는 기업 ID 관리와 역할 기반의 데이터 접근 제어를 도입해 금융권의 엄격한 규제를 충족했다. 마지막으로 기술적 메타데이터(데이터 타입, 계보 등)와 비즈니스 메타데이터(비즈니스 정의, 용어 등)를 API로 연결하는 통합 카탈로그 시스템을 구축했다.

머신러닝 과제에서 데이터 아키텍처 과제로의 전환

예전에는 AI의 성능을 높이기 위해 더 똑똑한 모델을 찾는 머신러닝 기술에만 집중했다. 하지만 이번 프로젝트에서 Vanguard는 관점을 완전히 바꿨다. AI가 제대로 답하게 만들려면 모델이라는 엔진보다 데이터라는 연료의 품질이 더 중요하다는 사실을 깨달은 것이다. 비유하자면, 아무리 성능 좋은 최신형 자동차를 가져와도 진흙탕 길에서는 달릴 수 없기에, 먼저 매끄러운 아스팔트 도로를 까는 작업에 집중한 셈이다.

데이터를 다루는 기준점도 달라졌다. 단순히 데이터를 쌓아두는 것이 아니라 AI-ready data(AI가 즉시 이해하고 활용할 수 있는 상태의 데이터)라는 개념을 도입했다. 쉽게 말하면 AI가 데이터를 읽었을 때 이것이 무엇을 의미하는지, 누가 책임지는지, 어떤 비즈니스 규칙이 적용되는지를 스스로 알 수 있게 꼬리표를 정교하게 붙여준 것이다. 이를 위해 데이터 엔지니어, 비즈니스 분석가, 컴플라이언스(법규 준수) 담당자, 보안 팀이 하나의 운영 모델 아래서 협업하는 구조를 만들었다.

분석가들이 체감하는 가장 큰 변화는 데이터 접근 방식의 민주화다. 이제는 SQL 전문가가 아니더라도 대화형 인터페이스를 통해 필요한 인사이트를 즉시 얻을 수 있다. 이는 단순히 도구 하나가 바뀐 것이 아니라, 데이터의 소유권과 정의, 품질 표준을 전사적으로 합의하는 프로세스가 정착되었음을 뜻한다. 결과적으로 가상 분석가 프로젝트는 초기 AI 유스케이스를 넘어 기업 전체의 데이터 관리 체계를 현대화하는 촉매제가 되었다.

기업용 AI의 승부처는 모델의 파라미터 숫자가 아니라, 현장의 언어를 데이터 구조에 얼마나 정교하게 이식했느냐에 달려 있다.