ROI의 역설

결재 서류에 사인 하나가 빠졌거나 이메일 한 통이 엉뚱한 곳으로 가서 프로젝트가 몇 주씩 멈추는 경험, 직장인이라면 누구나 한 번쯤 겪어봤을 겁니다. 경영진이 AI 에이전트(AI Agent)에 열광하는 이유도 여기 있죠. 사람이 일일이 개입하지 않아도 스스로 업무를 수행하는 자율 시스템을 통해 이 비효율을 끝내고 싶어 하거든요.

야심은 큽니다. 전 세계 기업의 약 82%가 향후 몇 년 안에 AI 에이전트를 워크플로우에 통합할 계획이라고 답했는데요. 하지만 현실은 냉혹합니다. 실제로 전사 규모로 에이전트를 성공적으로 배포한 기업은 단 2%에 불과하죠.

이런 괴리는 곧바로 실적으로 나타납니다. 엔터프라이즈 AI 프로젝트의 약 95%가 측정 가능한 투자 대비 효율(ROI)을 내지 못하고 있습니다. 이사회 보고용 데모는 화려하지만, 실제 현장에 적용하려니 벽에 부딪히는 셈입니다. 이건 컴퓨팅 파워를 늘리거나 모델 크기를 키운다고 해결될 문제가 아니거든요.

'거의 맞았다'는 말은 통하지 않는다

일반 소비자용 챗봇이 90%의 정확도를 보인다면 꽤 훌륭한 수준으로 평가받습니다. 하지만 인사(HR)나 재무 영역에서 90%의 정확도는 곧 '실패'를 의미하죠. 급여 계산, 세무 준수, 직원 복지 혜택을 다루는 AI 에이전트에게 10%의 오차는 단순한 환각(Hallucination)이 아니라 법적·재무적 리스크가 됩니다.

그래서 '어시스턴트' 모드에서 '자율' 모드로 넘어가는 과정이 매우 위험합니다. 어시스턴트는 사람이 승인할 수 있도록 제안만 하기에 리스크가 낮지만, 자율 에이전트는 직접 실행까지 해버리니까요. 누가 무엇을 할 권한이 있는지 완벽하게 이해하지 못한 에이전트는 기업 입장에서 시한폭탄과 같습니다.

기업용 HR 및 재무 시스템 제공사인 Workday(워크데이)의 제품 및 기술 사장 게릿 카즈마이어(Gerrit Kazmaier)는 고도의 무결성이 필요한 환경에서 "거의 맞았다는 말은 통하지 않습니다(Almost right is not acceptable)"라고 단언합니다.

신뢰를 만드는 아키텍처

파일럿 단계를 넘어 실제 서비스로 가려면 '기록 시스템(System of Record, SoR)'을 먼저 해결해야 합니다. 기록 시스템이란 재무 장부나 직원 기록 데이터베이스처럼, 비즈니스 프로세스에서 단 하나의 진실만을 담고 있는 권위 있는 데이터 소스를 말합니다.

많은 기업이 AI 보안을 위해 AI 위에 권한 레이어를 덧씌우는 방식을 택합니다. 일종의 '래퍼(Wrapper)'를 만들어 AI에게 누가 무엇을 볼 수 있는지 알려주는 식이죠. 하지만 이건 데이터와 보안 규칙을 분리하는 치명적인 설계 오류입니다. AI의 권한 리스트가 실제 데이터베이스와 조금이라도 어긋나면, 에이전트가 민감한 연봉 정보를 유출하거나 승인되지 않은 지출을 결재할 수 있거든요.

Würk(워크)의 제품 디렉터 댄 오벤도퍼(Dan Obendorfer)는 "권한 설정이 데이터가 실제로 존재하는 곳 외부에 정의되어 있다면 이미 진 게임"이라고 경고합니다. 에이전트를 믿고 쓰려면 보안 배지가 사후에 추가된 옵션이 아니라, 데이터 소스 자체에 내장되어 있어야 한다는 뜻이죠.

비정형 데이터를 '기업의 기억'으로

거버넌스는 단순히 접근을 막는 것이 아니라, 지능을 가능하게 만드는 장치입니다. 현재 기업 데이터의 80%는 PDF, 이메일, 슬라이드 같은 비정형 형태로 존재하는데요. 정작 가치 있는 비즈니스 맥락은 여기에 다 들어있지만, 경직된 거버넌스 모델 아래에서는 AI가 접근하기 어렵습니다.

최신 AI의 목표는 이 혼돈의 데이터를 '기업의 기억(Corporate Memory)'으로 바꾸는 것입니다. 비정형 문서를 거버넌스가 적용된 지식 베이스로 변환해, AI가 조직의 위계 구조를 준수하면서도 필요한 정보를 쿼리할 수 있게 만드는 것이죠.

Workday는 구글의 제미나이 엔터프라이즈(Gemini Enterprise)를 통합한 에이전트 시스템 Sana(사나)를 통해 이 문제에 접근했습니다. 보안 프로토콜을 우회하지 않고도 복잡한 기업 데이터를 탐색하게 만드는 것이 핵심입니다. 카즈마이어 사장은 Sana가 승인 절차와 보안 모델의 무결성을 항상 준수하도록 설계되어, 자율 실행이 컴플라이언스 위반으로 이어지지 않게 한다고 설명합니다.

내 기업엔 어떤 에이전트가 맞을까?

이제 AI 에이전트 플랫폼을 고르는 기준은 '얼마나 똑똑한 모델인가'가 아니라 '우리 회사의 거버넌스 요구사항과 맞는가'가 되어야 합니다. 데이터가 어디에 있고, 권한 관리가 얼마나 민감한지에 따라 선택지가 갈리거든요.

그래서 어느 쪽이 더 낫냐고요? 상황에 따라 다릅니다.

- **인사나 재무처럼 데이터 무결성이 절대적인 경우**: 데이터 기록 시스템(SoR)과 직접 통합되어 거버넌스가 내장된 Workday Sana 같은 시스템이 합리적인 선택입니다.

- **여러 서로 다른 애플리케이션을 복잡하게 연결해야 하는 경우**: LuMay AI(루메이 AI)나 Salesforce Einstein(세일즈포스 아인슈타인) 같은 플랫폼이 적합합니다. 이들은 파편화된 소프트웨어 스택 사이에서 에이전트들이 어떻게 상호작용할지 관리하는 오케스트레이션 레이어에 집중하거든요.

결국 이 경쟁의 승자는 파라미터 수가 가장 많은 모델 제공자가 아니라, 권한 문제를 가장 먼저 해결한 플랫폼이 될 가능성이 높습니다.

AI 도구에서 비즈니스 OS로

2026년쯤이면 업계는 변곡점에 도달할 겁니다. 사용자가 봇에게 이메일을 써달라고 요청하는 '도구로서의 AI' 시대에서, 에이전트가 비즈니스 프로세스 전체를 자율적으로 관리하는 '운영체제(OS)로서의 AI' 시대로 이동하고 있으니까요.

이 전환에서 살아남는 기업은 AI 에이전시를 중심으로 비즈니스 프로세스를 재설계하는 곳이 될 겁니다. 이제는 모델의 성능이나 프롬프트 엔지니어링에 매달릴 때가 아니라, 거버넌스 아키텍처를 최적화하는 데 집중해야 하죠.

엔터프라이즈 AI의 병목은 '두뇌(모델)'가 아니라 '출입증(권한)'에 있습니다. 재무나 인사 데이터의 절대적 무결성이 필요하다면 기록 시스템 내에 권한이 내장된 플랫폼을, 서로 다른 소프트웨어 간의 간극을 메워야 한다면 오케스트레이션 플랫폼을 우선순위에 두세요. 거버넌스를 먼저 해결하는 쪽이 결국 승리합니다.