데이터 온보딩 수주에서 수시간으로, ADOP의 핵심 지표

데이터 엔지니어링 팀이 단일 데이터 소스를 구축하는 데 소요하던 수주(Weeks)의 시간을 수시간(Hours)으로 단축한다. 이 변화는 VPs of Engineering, Chief Data Officers, Data Platform Directors가 데이터 파이프라인 구축 방식을 변경하게 만든다. 기존에는 ETL(데이터 추출, 변환, 적재) 코드를 직접 작성하고, 품질 검사 항목을 수동으로 정의하며, 시맨틱 모델을 업데이트하고 컴플라이언스를 검증하는 데 대부분의 시간을 썼다. ADOP(Agentic Data Operations Platform)는 이러한 반복적인 수작업 과정을 자동화하여 온보딩 속도를 높인다.

ADOP는 Amazon Bedrock과 사용자가 선택한 AI 코딩 도구를 결합해 구현하는 참조 아키텍처다. 원천 데이터를 그대로 저장하는 Bronze 단계, 결측치 제거와 형식 통일 등 데이터를 정제하는 Silver 단계, 최종적으로 비즈니스 분석이 가능한 형태로 가공하는 Gold 단계까지의 전 과정을 AI 에이전트가 수행한다. 각 단계에는 관리자가 설정할 수 있는 제어 장치가 내장되어 있다.

이 시스템의 도입으로 데이터 엔지니어의 업무 중심은 파이프라인 배관 작업에서 데이터 제품 출시로 이동한다. 특히 컴플라이언스 검증 방식이 바뀐다. 모든 개발이 끝난 후 마지막 단계에서 승인 여부를 결정하던 사후 게이트 방식에서, 데이터 온보딩 시점에 즉시 적용되는 인라인 컨트롤 방식으로 전환된다. 이는 데이터가 시스템에 유입되는 시점부터 규정 준수 여부를 실시간으로 확인하여 운영 리스크를 사전에 차단한다.

데이터 시스템과 AI 코딩 도구가 상호작용하는 방식은 조직의 아키텍처가 결정한다. Claude Code, Cursor, Codex 같은 AI 코딩 도구가 데이터 시스템에 접근할 때 조직이 정의한 표준 가이드라인을 따르도록 강제하는 구조다. 이를 통해 엔지니어 개개인의 습관에 따라 파이프라인 아키텍처가 파편화되는 문제를 방지하고 전사적으로 일관된 데이터 운영 환경을 유지한다. 이러한 자동화된 온보딩을 가능하게 하는 핵심은 Claude Code의 동적 워크플로우를 활용한 에이전트 구조에 있다.

Claude Code와 서브 에이전트를 통한 파이프라인 자동 생성

데이터 온보딩 에이전트는 Claude Code의 Dynamic Workflow(동적 워크플로우)를 통해 파이프라인 구축의 각 단계에 특화된 서브 에이전트를 생성한다. Amazon Bedrock을 통해 구동되는 이 에이전트는 사용자와의 대화형 상호작용을 통해 요구사항을 구체화하며 설계를 다듬는다. 단일 모델이 모든 과정을 일괄 처리하지 않고, 특정 목적을 가진 작은 단위의 에이전트들을 동적으로 배치하여 복잡한 작업을 세분화함으로써 코드의 정확도를 확보한다.

배치된 서브 에이전트들은 메타데이터 생성, 데이터 온톨로지 추론, 데이터 품질 검사, ETL 변환, 오케스트레이션이라는 다섯 가지 역할을 분담한다. 데이터 온톨로지 추론 에이전트는 원천 데이터의 구조를 분석해 비즈니스 논리에 맞는 관계를 설정하고, ETL 변환 에이전트는 가공 로직을 설계하며, 오케스트레이션 에이전트는 Airflow나 AWS Step Functions를 이용해 작업 순서를 제어한다. 각 서브 에이전트는 할당된 영역의 논리를 분석해 실행 가능한 기술 명세로 변환한다.

최종 산출물은 런타임에 모델의 추론에 의존하지 않는 결정론적(Deterministic, 동일 입력 시 항상 동일한 결과) 정적 코드 형태다. 구체적으로는 PySpark 코드와 SQL, Airflow DAGs가 생성되어 데이터 처리 로직을 규정한다. 또한 인프라 권한 관리를 위한 IAM 정책이 함께 도출되어 보안 설정까지 자동화한다. 이렇게 생성된 아티팩트는 엔지니어가 코드를 직접 읽고 수정할 수 있으며 모든 변경 이력을 추적할 수 있는 감사 가능성을 제공한다.

모든 생성물은 로컬 검증과 사람의 승인 단계를 거친다. 서브 에이전트가 생성한 코드는 먼저 로컬 환경에서 실행되어 기술적 결함이나 구문 오류, 성능 문제를 확인한다. 이후 Human-in-the-loop 프로세스를 통해 담당 엔지니어가 최종 산출물을 검토하고 승인해야만 AWS 프로덕션 환경으로 배포된다. 이는 AI의 생성 능력과 인간의 판단력을 결합해 논리적 오류를 사전에 차단하는 안전장치다.

런타임 의존성을 제거한 빌드 타임 가속기의 차별점

실행 시점마다 모델을 호출하던 런타임 의존성 방식에서 개발 단계에 코드를 미리 생성하는 빌드 타임 가속기 구조로 전환했다. 런타임 의존성은 프로그램 실행 중에 모델의 응답을 기다려야 하므로 추론 비용과 응답 속도를 예측하기 어렵다. ADOP는 에이전트가 개발 환경에서만 추론과 코드 생성을 수행하고 CI/CD를 통해 정적 아티팩트만 프로덕션 환경에 배포한다. 프로덕션 서버는 실행 중에 모델을 호출하지 않고 생성된 정적 코드만 처리하므로 모델 추론 비용이 발생하지 않으며 시스템 안정성이 높아진다.

개별 엔지니어가 각자 다른 아키텍처를 설계하는 범용 코딩 어시스턴트와 달리 ADOP는 조직의 표준을 강제하는 프레임워크로 동작한다. 범용 도구는 결과가 열려 있는 개방형 구조이기에 동일한 플랫폼에서도 작업자마다 서로 다른 아키텍처를 생성하는 문제가 발생한다. ADOP는 모델의 유연성을 조직의 기술 표준으로 제한하여 누가 작업하더라도 동일한 설계 원칙이 적용된 결과물을 내놓게 만든다. 이는 엔지니어의 숙련도나 성향에 관계없이 조직 전체의 코드 일관성을 유지하고 아키텍처 파편화를 방지한다.

전체 스택은 기본적으로 로컬 개발 환경에서 작동하며, 아키텍처 계약(Architectural Contract, 시스템 구성 요소 간의 약속)의 변경 없이 시스템 규모 확장이 필요한 시점에만 Amazon Bedrock AgentCore 런타임으로 승격시켜 운영한다.

결정 엔진과 가드레일을 통한 엔터프라이즈 거버넌스 구현

결정 엔진은 기업 아키텍트의 가이드라인과 기술 표준을 내재화한 AI 클론으로 동작한다. 팀마다 서로 다른 라이브러리를 선택하거나 상충하는 설계 패턴을 적용해 발생하는 파편화 문제를 해결하기 위해, 조직의 설계 철학을 빌드 과정에 직접 삽입한다. 개별 개발자의 주관적 판단이 아닌 조직이 정의한 표준을 우선 적용함으로써 대규모 프로젝트에서도 일관된 기술 스택을 유지하며, 아키텍트의 역할을 표준을 AI에 인코딩하는 설계자로 전환시킨다.

서브 에이전트의 모든 동작은 아키텍처 계약으로 정의된 가드레일에 의해 제한된다. 이는 도구 라우팅 규칙, Cedar(AWS 권한 제어 언어) 권한 정책, 불변성 조건, 인라인 컴플라이언스 프롬프트로 구성된다. 에이전트가 허용되지 않은 도구를 호출하거나 보안 정책을 위반하는 자원에 접근하는 시도를 런타임 이전에 차단한다. 특히 Cedar 정책을 통해 세밀한 권한 제어를 수행하여 감사 가능성을 높이며, 인라인 컴플라이언스 프롬프트는 법적, 보안적 요구사항을 생성 과정에 즉각 반영한다.

인프라 확장성은 CLI 또는 MCP(모델과 도구 간 표준 인터페이스)를 통해 구현한다. MCP 인터페이스를 활용하면 하이브리드 클라우드나 멀티 클라우드 환경으로 기능을 확장할 수 있다. MCP는 모델이 외부 도구와 상호작용하는 방식을 표준화하여 특정 벤더의 API에 종속되지 않고도 동일한 거버넌스 규칙을 적용하게 한다. 이를 통해 클라우드 제공자를 변경하거나 혼합하여 사용하더라도 결정 엔진이 정의한 설계 표준을 일관되게 유지할 수 있다.

운영 단계의 투명성은 AgentTrace를 통해 확보한다. AgentTrace는 에이전트가 작업을 수행할 때 가졌던 의도, 선택한 도구, 결과, 소요 비용을 세밀하게 기록한다. 수집된 로그 데이터는 Amazon CloudWatch 또는 OpenTelemetry로 전송되어 실시간 모니터링과 사후 분석에 활용된다. AI가 어떤 논리적 단계를 거쳐 코드를 생성했는지 추적함으로써 산출물의 신뢰성을 객관적으로 검증하고, 운영 비용의 예측 가능성을 높이며 장애 원인을 빠르게 파악한다.

6주 단계별 도입 전략과 조직적 변화 관리

초기 도입 비용은 개별 파이프라인 구축 시간이 아니라 표준 인코딩(조직의 기술 표준을 AI가 이해할 수 있도록 정의하는 작업)에 집중되는 아키텍처 중심의 투자다. 표준을 정의하는 계약 단계가 완료되어야만 이후 추가되는 데이터 소스를 단순 프롬프트 작성 작업으로 처리할 수 있기 때문이다. 이러한 구조는 초기 설정 비용을 통해 후속 데이터 온보딩의 운영 비용을 낮추는 전략이다. 표준이 내재화될수록 작업 효율이 안정적으로 향상된다.

6주간의 단계별 도입 일정은 교육과 실습, 검증을 통해 엔지니어링 문화를 전환하는 과정이다. 1주차 워크숍을 시작으로 2주차에는 프롬프트 작성 실습을 진행하며, 3주차에는 산출물 검증과 가드레일 설정을 완료한다. 4주부터 6주까지는 트러블슈팅 오피스 아워를 운영해 실무 적용 과정의 병목을 제거한다. 롤아웃은 2~3명의 챔피언 엔지니어가 비핵심 데이터 소스로 파일럿을 수행하며 출력 품질을 검증하는 1단계와, 이를 전체 플랫폼 팀으로 확대하는 2단계로 구분해 리스크를 관리한다.

조직 내 소통 체계는 정보의 성격에 따라 3단계로 분리한다. 경영진에게는 월간 대시보드로 성과와 진척도를 보고하고, 리드급에게는 주간 요약을 공유하며, 실무자는 실시간 채널에서 기술 논의를 진행한다. 컴플라이언스 관리 또한 아키텍처 수준에서 처리하여 검토 비용을 낮춘다. 거버넌스 프레임워크당 하나의 규제 프롬프트를 설정하면 법무 팀은 복잡한 코드가 아닌 프롬프트 파일만 검토하여 승인할 수 있다. 단, 설정된 컨트롤이 실제 규제 의무를 충족하는지 최종 검증하는 책임은 운영 조직에 있다.

데이터 엔지니어링의 신뢰성은 AI의 추론 결과가 아니라 PySpark나 SQL 같은 결정론적 코드 기반의 파이프라인을 구축하고 이를 명확히 감사할 수 있는 기준을 확보하는 데서 결정된다.