8주 걸리던 데이터 온보딩을 40분으로 단축한 'Data Accelerator'

신규 데이터 소스를 연결하는 데 최대 8주가 걸리던 작업 시간이 약 40분의 코드 생성 시간으로 단축됐다. F1은 이를 통해 수동 엔지니어링으로 쌓였던 18개월치의 백로그(Backlog, 처리 대기 작업 목록)를 해결하고 비즈니스 요구사항이 데이터 플랫폼에 반영되는 주기를 단축했다.

F1의 마케팅 기술(MarTech) 플랫폼인 Customer 360은 도입 전 환경이 파편화되어 있었다. 데이터 엔지니어, 데이터 과학자, 분석가가 각각 서로 다른 계정과 환경에서 작업하면서 12개의 데이터 소스를 통합하는 과정에 병목이 발생했고, 이는 18개월 분량의 작업 지연으로 이어졌다.

F1은 AWS와 협력해 Amazon Bedrock AgentCore를 활용한 Data Accelerator를 구축했다. 이는 비즈니스 요구사항을 분석해 인프라 코드, 데이터 변환 로직, 거버넌스 정책을 스스로 생성하는 에이전틱 AI 솔루션이다. 수동 유지보수 시스템을 관측 가능한 통합 데이터 환경으로 전환해 엔지니어의 개입을 최소화했다.

현재 AI 에이전트는 온보딩 업무의 95%를 자율적으로 처리한다. 전체 공정은 약 40분의 코드 생성 시간과 이후 몇 시간의 배포 및 검토 과정으로 압축됐다. 기존의 수동 설계 및 구현 방식에서 AI가 생성한 결과물을 엔지니어가 검토하고 승인하는 방식으로 워크플로가 변경됐다.

결과적으로 F1은 전체 마케팅 플랫폼에 대한 엔드투엔드(End-to-End) 가시성을 확보했다. 데이터 리니지(Data Lineage)와 근본 원인 분석이 가능해지면서 데이터 소스의 이상 징후를 즉시 식별하고 수정할 수 있게 됐으며, 분석가와 엔지니어, 데이터 과학자가 단일 창구에서 에이전트의 활동 이력을 추적하며 협업하는 환경을 구축했다.

BRD 업로드에서 PR 생성까지: 2단계 자동화 파이프라인

팀원이 Amazon S3 버킷에 비즈니스 요구사항 문서(BRD)를 업로드하면 AWS Lambda가 이를 감지해 Amazon Bedrock AgentCore Runtime을 호출한다. 에이전트는 문서의 텍스트를 분석해 시스템 설정 파라미터를 추출하고 표준 설정 파일을 생성한다. 이후 GitHub App을 통해 표준화된 Git 저장소에 Pull Request(PR)를 생성하며, REST API로 Jira 티켓을 발행해 해당 PR과 연결한다. 모든 판단 근거와 API 호출 로그는 Amazon CloudWatch에 기록되어 사후 검증이 가능하다.

1단계에서 생성된 설정 파일이 엔지니어의 승인을 받으면 2단계 자동화 파이프라인이 작동한다. 승인된 단일 설정 값을 기반으로 세 개의 서로 다른 저장소에 PR을 생성하는 분기 프로세스를 거친다. 구체적으로는 클라우드 자원을 정의하는 인프라 저장소, 데이터 변환 로직을 담당하는 DBT 저장소, 데이터 접근 권한과 보안을 정의하는 거버넌스 저장소에 각각 코드를 반영한다. 이는 데이터 파이프라인의 계층별 물리적 분리 구조를 유지하면서 기술 계층 전체에 일관된 요구사항을 적용하는 방식이다.

분산된 세 개의 PR은 단일 Jira 티켓에 연결되어 추적성을 유지한다. 엔지니어는 Jira 티켓 내 링크를 통해 인프라, DBT, 거버넌스 변경 사항을 한꺼번에 확인하고 승인한다. 에이전트가 요구사항 분석부터 코드 초안 작성까지 수행하므로, 엔지니어는 제로 베이스의 코딩 대신 결과물의 적절성을 검토하는 최종 게이트키퍼 역할을 수행한다. 이 워크플로는 수동 입력 오류와 부서 간 커뮤니케이션 지연을 차단한다.

모듈형 스킬과 멀티패스 추론으로 구현한 GDPR 자동 분류

이러한 자동화 파이프라인은 단순 코드 생성을 넘어 복잡한 규제 준수 작업으로 확장된다. 수동으로 진행하던 데이터 컬럼 분석과 GDPR(유럽 일반 데이터 보호 규칙) 분류 작업을 에이전트가 개인정보, 민감정보, 가명정보로 자동 태깅하는 체계로 전환했다. 분류된 태그는 SageMaker Unified Studio 내 거버넌스 레지스트리에 직접 게시되어 실시간 가시성을 확보했다.

이 시스템은 모듈형 스킬 정의를 통해 작동한다. 스키마 매핑, 품질 검증, 거버넌스 집행 등 특정 목적을 수행하는 독립적인 기능 단위를 상황에 맞춰 유연하게 조합해 호출한다. 복잡한 컴플라이언스 규칙이 변경되어도 전체 파이프라인을 수정하지 않고 해당 모듈만 업데이트하면 되므로 유지보수 비용이 낮다.

추론 정확도를 높이기 위해 멀티패스 추론(Multi-pass reasoning) 구조를 적용했다. Pass-0 단계에서 토큰 스크러빙으로 불필요한 데이터를 제거하고, Pass-1에서 도구 출력물을 요약하며, Pass-2 단계에서 전체 내용을 종합 평가해 최종 결과물을 도출한다. 단일 응답 방식보다 처리 시간은 늘어나지만, 데이터 분류의 정밀도를 높여 규제 대응력을 강화했다.

데이터 엔지니어가 수동으로 작성하던 분류 정의서를 에이전트의 모듈형 스킬셋으로 대체함으로써 작업의 일관성을 확보했다. 실무자는 개별 컬럼의 성격을 정의하는 대신, 에이전트가 제안한 분류 태그의 적절성만 최종 승인한다.

스키마 진화 실시간 감지 및 자동 수정 체계 구축

데이터 소스의 구조가 변경되는 스키마 진화(Schema Evolution) 상황을 감지하기 위해 AWS Lambda와 Amazon EventBridge를 결합한 이벤트 기반 트리거 체계를 구축했다. 컬럼 추가나 데이터 타입 변경 이벤트가 발생하면 이벤트 브릿지가 이를 포착해 람다 함수를 즉시 실행한다. 이를 통해 장애 발생 후 로그를 분석하던 방식에서 변경 시점의 즉각 알림 방식으로 전환해 인지 시간을 최소화했다.

감지 직후 시스템은 상위 데이터 구조 변경이 하위 파이프라인과 소비자에게 미치는 영향도 평가를 수행한다. 데이터 흐름의 계보를 추적해 특정 변경 사항이 어느 대시보드나 API 결과값에 영향을 주는지 식별한다. 수많은 터치포인트에서 데이터가 유입되는 환경에서 영향 범위를 자동으로 파악함으로써 장애 전파 경로를 즉각 식별하고 대응 우선순위를 빠르게 결정할 수 있게 됐다.

에이전트는 변경된 스키마에 맞게 수정된 코드를 직접 생성해 관련 저장소에 PR을 제출하고, Jira 티켓을 발행해 담당 엔지니어에게 전달한다. 엔지니어는 알림을 통해 변경 내용, 영향도, 수정 제안 코드를 한 번에 전달받아 검토 후 승인한다. 문제 해결의 시작점을 원인 분석이 아닌 해결책 검토로 옮긴 구조다.

이 체계를 통해 데이터 구조 변경으로 인한 문제 해결 시간(Resolution time)을 기존 며칠 단위에서 몇 시간 단위로 단축했다. 데이터 파이프라인 가동 중지 시간을 최소화해 비즈니스 의사결정 속도를 지원했으며, 감지-분석-수정 제안으로 이어지는 연결 고리를 자동화한 설계가 실질적인 시간 단축의 핵심 요인이 됐다.

코드 작성에서 검토로 전환되는 데이터 실무 워크플로

데이터 엔지니어의 업무는 수동으로 스키마를 매핑하고 파이프라인을 구축하던 방식에서 에이전트가 생성한 PR을 검토하고 승인하는 체계로 바뀐다. 단순 반복적인 코드 작성이라는 물리적 노동 대신 결과물의 적절성을 판단하는 논리적 검토 업무 비중이 늘어난 것이다.

실무자에게 요구되는 핵심 역량 역시 보일러플레이트 코드를 빠르게 작성하는 능력에서 요구사항을 정교하게 정의하고 결과물을 검증하는 능력으로 이동한다. BRD에 데이터의 성격과 비즈니스 목적을 명확하게 기술하는 능력이 파이프라인의 최종 품질을 결정한다. 에이전트가 생성한 설정값이 원천 특성을 정확히 반영했는지, 사내 거버넌스 규칙과 보안 정책을 준수했는지 판별하는 능력이 새로운 경쟁력이 된다.

이러한 변화는 반복적인 온보딩 백로그가 많거나 소스 시스템의 스키마 변경이 잦은 환경에서 효과가 크다. 다만 에이전트의 생성물을 검증 없이 배포하는 것이 아니라, 반드시 사람이 개입하여 승인하는 Human-in-the-loop 단계를 워크플로에 명시적으로 설계해야 한다. 이는 데이터 정합성과 무결성을 확보하기 위한 필수적인 안전장치다.

데이터 파이프라인 구축의 병목을 코드 작성 단계가 아닌 검토 및 승인 단계로 옮겨 운영 효율을 극대화하는 것이 도입의 핵심이다.

데이터 파이프라인 구축의 병목을 코드 작성 단계가 아닌 검토 및 승인 단계로 옮겨 운영 효율을 극대화하는 것이 도입의 핵심 판단 기준이다.