메타의 인프라 VP는 AI 에이전트 시대에 대비한 인프라

데이터를 주고받는 비용은 눈에 보이지 않지만, 기업의 인프라를 갉아먹는 가장 큰 변수가 되고 있다. 바락 야구르(Barak Yagour) 메타 엔지니어링 부사장은 VB Transform 2026에서 현재의 인프라 설계가 에이전트 기반 트래픽의 급증을 감당할 수 없다고 지적하며, 이를 재구축하기 위한 시간으로 약 20개월을 제시했다. 인간이 아닌 에이전트가 주도하는 환경에서는 기존의 데이터 처리 방식이 병목의 원인이 되기 때문이다.

메타는 GPU 효율성을 높이기 위해 데이터 저장 방식을 스키마 인식(schema-aware) 구조로 전환하고 있다. 과거에는 데이터를 내용 파악이 불가능한 불투명한 블롭(opaque blobs) 형태로 저장했으나, 이는 시스템이 데이터의 성격을 알지 못해 불필요한 호출을 반복하는 과도한 데이터 인출(overfetching)과 GPU 유휴 상태를 유발했다. 현재 메타는 쿼리에 필요한 컬럼과 시간 범위만을 정밀하게 추출하는 방식으로 아키텍처를 개선 중이다. 이러한 변화는 에이전트가 데이터를 조회하고 코드를 작성하는 과정에서 발생하는 GPU 낭비를 최소화하기 위한 필수적인 조치다.

메타는 에이전트의 자율성을 보장하면서도 거버넌스를 유지하기

엔지니어가 데이터 파이프라인의 설계도를 새로 그리는 순간은 단순히 효율을 높이는 작업이 아니라, 에이전트가 데이터에 접근하는 방식의 근본적인 규칙을 바꾸는 과정이다. 메타는 에이전트의 자율성을 보장하면서도 거버넌스를 유지하기 위해 신뢰할 수 있는 데이터 환경(trusted data environments)을 구축했다. 이 환경 내에서 에이전트는 데이터를 자유롭게 탐색하지만, 모든 출력 결과는 출처가 추적되고 검증된다. 민감한 정보가 포함된 필드는 에이전트가 접근하기 전에 마스킹 처리되며, 데이터 접근 요청은 실시간으로 평가되어 보안을 유지한다.

기존의 배치(Batch) ETL(추출·변환·적재 과정을 일괄 처리하는 방식)은 24시간이라는 긴 처리 시간을 요구하여 사용자의 현재 의도를 파악해야 하는 추론 모델에 적합하지 않다. 메타는 AI 모델의 추론 성능 향상을 위해 기존 배치 처리 방식에서 실시간 스트리밍 방식으로 인프라를 전환하고 있다. 실시간 스트리밍은 이제 랭킹 및 추천 시스템의 핵심 기반으로 자리 잡으며, 에이전트가 실시간 데이터에 기반해 정확한 판단을 내릴 수 있도록 돕는다.

확인해야 할 핵심 지점

데이터 인프라 조직을 이끄는 야구르(Yagour)가 내부 지표를 공개하며 회의실의 공기가 바뀌었다. 메타의 데이터 시스템에 유입되는 에이전트 기반 쿼리(Agentic queries, AI 에이전트가 스스로 데이터를 조회하고 분석하는 요청)가 단 반년 만에 30배 급증했다. 지난 20년간 인간 사용자의 패턴을 중심으로 구축해온 인프라 설계의 기본 가정이 무너지는 속도다. 이는 인터넷상의 자동화된 트래픽이 인간의 활동량을 추월한 현상과 맞물려 인프라 운영의 근간을 흔들고 있다.

인스타그램 사용자의 42%가 알고리즘의 근본적인 변화를 요구함에 따라, 메타는 완전 대화형 추천(Fully conversational recommendations) 시스템을 도입하고 있다. 이 시스템은 기존의 키워드 매칭 방식에서 벗어나 사용자가 원하는 바를 말하면 시스템이 그 의도를 직접 추론하여 결과를 제공한다. 사용자와 에이전트가 데이터베이스와 직접 대화하며 의도를 파악하는 방식이 확산하면서, 기존의 정적 데이터 처리 방식은 실시간 대응이 가능한 구조로 재편될 수밖에 없다.

데이터 파이프라인의 설계도를 다시 그리는 작업은 단순히 효율을 높이는 기술적 개선을 넘어, 에이전트가 데이터에 접근하는 규칙을 근본적으로 재정의하는 과정이다. 이제 엔지니어는 정적 배치 처리에서 실시간 스트리밍으로 인프라를 전환하며, 에이전트의 쿼리 의도를 파악해 GPU 유휴 시간을 제거하는 스키마 인식 저장소 구조를 우선순위에 두어야 한다.

향후 20개월 내에 에이전트 기반 쿼리가 인프라 비용을 결정짓는 핵심 변수가 된다는 점을 고려할 때, 지금 즉시 기존 데이터 거버넌스가 실시간 스트리밍 환경에서도 에이전트의 자율성을 통제할 수 있는지부터 검증해야 한다.