수 주 걸리던 데이터셋 준비를 수 분으로 줄이는 Agentic Catalog
카탈로그 연결부터 첫 비즈니스 질문까지 걸리는 시간이 수 주에서 수 분 단위로 단축된다. BI 엔지니어와 분석 리드가 겪던 수동 설정의 번거로움을 없애, 데이터 큐레이터가 수천 개의 테이블을 일일이 훑거나 설정을 위해 도구를 전환할 필요가 없게 됐다.
Text2SQL의 정확도는 테이블 설명, 컬럼 시맨틱(의미론적 정의), 기본키 및 외래키 관계 같은 비즈니스 메타데이터의 정교함에 따라 결정된다. 그동안 기업들은 AWS Glue, Databricks Unity Catalog, Snowflake Horizon, Collibra, dbt 같은 플랫폼에 이를 정의해 왔으나, 이 메타데이터를 AI 제품으로 연결해 실제 답변으로 만드는 마지막 단계에서 수동 설정이라는 병목 현상이 발생했다.
Agentic Catalog는 상위 카탈로그의 시맨틱 정보를 AI 제품으로 직접 연결해 이 문제를 해결한다. 데이터 큐레이터가 자연어로 필요한 내용을 설명하면, 시스템은 이미 정의된 메타데이터를 활용해 데이터셋과 토픽을 자동으로 생성한다. 상위 플랫폼의 용어 사전과 메타데이터가 AI의 판단 근거가 되므로, 사용자는 별도의 학습 없이 조직의 데이터 맥락이 반영된 SQL 쿼리 결과를 얻는다.
Quick Agent의 자연어 탐색과 Direct Query 기반 상속 구조
Quick Agent는 비즈니스 설명, 태그, Gold/Silver/Bronze 분류, 품질 점수, 테이블 상태 점수, 용어 사전을 활용해 전체 카탈로그에서 최적의 테이블을 즉시 찾아낸다. 사용자가 자연어로 요청하면 에이전트가 카탈로그 전체를 요약하고 사용 사례에 적합한 테이블과 관계를 제안하며 메타데이터의 준비 상태를 평가한다.
탐색 단계에서 활용한 모든 메타데이터가 데이터셋으로 옮겨지지는 않는다. 현재 데이터셋으로 상속되는 범위는 테이블 정의와 컬럼 정의로만 제한하며, 품질 점수나 태그 같은 정보는 테이블 식별을 위한 가중치로만 사용한다. 이는 분석 과정의 정보 노이즈를 제거하고 데이터의 핵심 구조만 정밀하게 가져오기 위한 설계다. [Figure 3]
데이터셋 생성 시에는 Direct Query(데이터 원본에 직접 쿼리하는 방식)를 기본 경로로 사용한다. 이를 통해 상위 카탈로그를 단일 진실 공급원(Single Source of Truth)으로 유지하며 데이터 중복과 동기화 오류를 방지한다. 사용자가 대화형 확인을 통해 승인하면 에이전트가 타겟 메타데이터를 상속받은 카탈로그 생성 데이터셋과 토픽을 자동으로 구축한다.
상속된 시맨틱이 포함된 데이터셋에는 Semantics Inherited 배지가 부여되며, 해당 메타데이터는 읽기 전용으로 설정되어 하위 데이터셋에서 수정할 수 없다. 이는 상위 카탈로그에서 정의한 거버넌스와 데이터 표준이 하위 분석 단계까지 일관되게 유지되도록 강제하는 제약 사항이다.
Grounded AI 답변을 위한 시맨틱 스토어와 통합 컨텍스트
이렇게 상속된 메타데이터는 단순한 연결을 넘어, AI가 정답을 찾아내는 추론 과정의 핵심 자산으로 활용된다. Amazon Quick 시맨틱 스토어는 상속된 메타데이터를 저장해 AI Q&A의 재순위화(Re-ranking)와 통합 컨텍스트를 제공한다. 사용자가 자연어로 질문하면 AI 에이전트가 시맨틱 스토어 내에서 질문 의도와 가장 밀접한 테이블과 컬럼을 식별하고, 이를 가이드 삼아 최적의 SQL을 생성해 정확한 값을 도출한다.
답변의 근거는 내부 데이터베이스를 넘어 기업 전반의 통합 컨텍스트로 확장된다. Amazon Quick은 Slack, Outlook, 문서, 지식 베이스 등 외부 플랫폼과 연동한다. AI가 데이터베이스의 스키마뿐만 아니라 실제 업무 현장의 문서 내용이나 협업 툴의 대화 맥락을 동시에 반영해 답변의 배경을 이해하게 함으로써, 수치적 사실과 업무 맥락이 결합된 답변을 제공한다.
시맨틱 스토어에 저장된 메타데이터가 쿼리 생성의 가이드가 되므로, 기업마다 서로 다른 비즈니스 용어와 데이터 정의가 AI에게 실시간으로 전달된다. 결과적으로 복잡한 추가 튜닝 없이도 도메인 특화된 답변을 도출하며, 사용자가 신뢰할 수 있는 명확한 근거를 가진 AI 답변을 즉시 업무에 활용할 수 있는 환경을 구축한다.
AWS Glue 및 Athena를 활용한 실무 구현 단계
AWS 환경의 엔지니어는 Amazon Quick에서 Glue Data Catalog 연결을 먼저 생성해야 한다. [Figure 1] 이 연결은 데이터의 구조와 정의를 소비하는 용도로 사용되며 현재 프리뷰 단계로 제공된다. 동시에 Amazon Athena 데이터 소스를 생성하여 Amazon S3 내 실제 데이터에 접근할 쿼리 경로를 제공해야 한다. [Figure 2] 메타데이터를 제공하는 Glue와 실제 데이터를 쿼리하는 Athena가 쌍으로 구성되어야 물리적 연결이 완료된다.
연결 완료 후 Glue Data Catalog 상세 페이지의 Explore data 메뉴를 통해 Quick Agent를 실행한다. [Figure 3] 사용자는 Specific data 모드에서 AI가 참조할 컨텍스트 경계를 설정하고 자연어로 토픽(Topic)을 생성한다. [Figure 4] 이 과정에서 AI 에이전트는 상위 카탈로그의 테이블과 컬럼 정의를 자동으로 상속받아 데이터셋을 구성한다.
큐레이터가 테이블을 선택하면 에이전트가 가이드 워크플로우를 통해 카탈로그 표현체인 데이터셋을 대규모로 생성한다. 이를 통해 데이터 엔지니어가 AI용 데이터셋을 위해 별도의 매핑 작업을 반복하던 공수를 제거하고, 상위 카탈로그의 거버넌스가 적용된 Grounded AI 답변을 구현할 수 있다.
수동 데이터셋 설정 없이 상위 카탈로그의 거버넌스가 적용된 Grounded AI(근거 기반 AI) 답변을 구현하려면 Glue와 Athena의 연결 상태를 먼저 확인해야 한다.
