이번 주 엔터프라이즈 AI 아키텍처를 설계하는 개발자들 사이에서 묘한 기류가 흐른다. AI 모델에 최신 데이터를 쏟아부었는데도 정작 현업에서는 쓸모없는 답변이 나온다는 불만이 터져 나오기 때문이다. 기술적으로는 정답이지만 비즈니스 운영 관점에서는 완전히 틀린 결정을 내리는 AI를 보며, 개발자들은 단순한 RAG(검색 증강 생성, 외부 데이터를 참조해 답변을 생성하는 기술)만으로는 한계가 왔음을 직감하고 있다.

SAP가 분석한 데이터 성숙도와 AI 도입 현황

SAP(기업용 소프트웨어 전문 기업)는 최근 AI가 실험 단계를 넘어 재무, 공급망, 인사, 고객 운영 등 실제 업무 프로세스에 깊숙이 침투하고 있다고 밝혔다. 조사 결과에 따르면 2025년 말까지 기업의 50%가 최소 3개 이상의 비즈니스 기능에 AI를 도입할 것으로 전망된다. 하지만 정작 AI가 제대로 작동하기 위한 토대인 데이터 준비 상태는 처참한 수준이다. 기업 5곳 중 1곳만이 데이터 접근 방식이 성숙했다고 답했으며, 데이터 시스템 간의 통합 및 상호 운용 준비가 완전히 되었다고 느끼는 기업은 단 9%에 불과했다. SAP Data & Analytics의 사장 겸 최고 제품 책임자인 Irfan Khan은 AI가 결과물을 내놓는 속도는 매우 빠르지만, 비즈니스 맥락이 없다면 올바른 판단을 내릴 수 없으며 이는 곧 투자 대비 수익(ROI)의 하락으로 이어진다고 경고했다.

데이터 집계에서 맥락 보존의 데이터 패브릭으로

예전에는 데이터를 한곳에 모으는 집계 방식에 집중했다. 지난 20년 동안 기업들은 운영 시스템에서 정보를 추출해 Data Warehouse(분석을 위해 데이터를 모아둔 저장소)나 Data Lake(정제되지 않은 원시 데이터를 저장하는 거대 저장소)에 쌓아두고 대시보드를 만드는 데 주력했다. 이 과정에서 데이터가 가진 원래의 의미, 즉 정책이나 프로세스, 실제 의사결정과의 관계라는 맥락이 모두 삭제되었다. 이제는 데이터를 단순히 옮기는 것이 아니라 애플리케이션, 클라우드, 운영 시스템 전반에 걸쳐 정보를 연결하면서 비즈니스 작동 방식을 설명하는 의미론적 구조를 유지하는 Data Fabric(데이터 가상화 및 통합 관리 계층)으로 패러다임이 바뀌고 있다.

공급망 중단 문제를 해결하는 두 AI 시스템을 비교하면 이 차이가 명확해진다. 한 시스템이 재고 수준이나 리드 타임 같은 원시 신호만 분석한다면, 다른 시스템은 어떤 고객이 전략적 핵심 계정인지, 부족 상황에서 어떤 절충안이 허용되는지 같은 비즈니스 맥락을 함께 분석한다. 두 시스템 모두 분석 속도는 빠르지만, 맥락을 가진 시스템만이 전략적으로 옳은 방향으로 움직인다. 이것이 바로 데이터 기반이 프로세스와 정책의 맥락을 설계 단계부터 보존했을 때 얻게 되는 맥락 프리미엄의 실체다.

자율형 AI를 위한 인터페이스의 변화

개발자가 바로 체감하는 변화는 AI가 단순한 데이터 조회가 아니라 비즈니스 지식과 직접 상호작용하는 인터페이스로 진화한다는 점이다. Data Fabric은 인프라, 아키텍처, 논리적 조직을 아우르는 추상화 계층 역할을 하며, 특히 Agentic AI(스스로 목표를 설정하고 실행하는 자율형 AI)에게는 원시 저장소가 아닌 비즈니스 지식에 접근하는 기본 통로가 된다. 여기서 Knowledge Graph(데이터 간의 관계를 그래프 형태로 표현한 지식 베이스)가 핵심적인 역할을 수행하며, AI 에이전트가 자연어와 비즈니스 로직을 사용해 기업 데이터를 쿼리할 수 있게 만든다.

이 구조를 완성하기 위해서는 세 가지 핵심 요소가 맞물려야 한다. 속도를 제공하는 지능형 컴퓨팅, 비즈니스 이해도와 맥락을 제공하는 지식 풀, 그리고 그 이해를 바탕으로 자율적 행동을 수행하는 에이전트가 그것이다. 이러한 기술적 토대 위에 IT 부서와 현업 부서가 소유권을 공유하고 거버넌스를 확립하는 문화가 결합될 때, AI는 단순한 데이터 해석을 넘어 실제 비즈니스 임팩트를 만드는 스마트한 의사결정을 주도하게 된다.

AI의 성능 경쟁은 이제 모델의 파라미터 수가 아니라, 기업의 맥락을 데이터 구조에 얼마나 정교하게 녹여냈느냐의 싸움으로 옮겨갔다.