자율성의 역설과 무너지는 프로젝트들

40% 이상의 AI 에이전트 프로젝트가 2028년을 넘기지 못하고 사라질 것이라는 전망이 나왔다. 가트너(Gartner)가 분석한 이 수치는 모델의 성능 부족이 아니라, 치솟는 비용과 불분명한 비즈니스 가치, 그리고 부적절한 리스크 제어 능력 때문이다. 그동안 기업들은 에이전트에게 더 많은 자율성을 줄수록 성능이 올라간다고 믿고 다단계 워크플로우의 계획과 결정권을 최대한 개방해 왔다. 하지만 실제 운영 환경에서 이 가설은 무너지고 있다.

맥킨지(McKinsey)의 2026 AI 신뢰 성숙도 조사 결과는 이러한 격차를 수치로 보여준다. 에이전트 도입 속도는 모든 산업에서 가속화되고 있지만, 책임감 있는 AI(Responsible AI) 성숙도는 4점 만점에 평균 2.3점에 머물러 있다. 특히 거버넌스와 에이전트 제어 부문에서 성숙도 3단계 이상에 도달한 조직은 30%에 불과하다. 즉, AI의 역량은 빠르게 확장되고 있지만 이를 통제할 시스템은 그 속도를 따라가지 못하는 상황이다.

시장에 풀린 제품들의 실체도 문제다. 가트너는 '에이전틱 AI'라는 라벨을 달고 판매되는 수천 개의 제품 중 실제 자율 기능을 갖춘 것은 약 130개에 불과하다고 집계했다. 나머지는 기존의 자동화 도구나 챗봇을 이름만 바꿔 재포장한 수준이다. 진짜 자율 시스템을 도입한 기업조차 '자율성이 높을수록 책임 소재는 불분명해진다'는 구조적 한계에 부딪히고 있다. 다단계 작업을 독립적으로 수행하는 에이전트는 사후에 특정 결정의 근거를 추적하기 어렵기 때문이다.

'속도 경쟁'에서 '신뢰 경쟁'으로의 프레임 전환

2024년과 2025년의 경쟁이 누가 더 자율적인 에이전트를 빠르게 배포하느냐의 싸움이었다면, 2026년부터 2027년까지는 '신뢰 경쟁'의 시대가 될 가능성이 크다. 이제 핵심은 모델의 능력이 아니라, 리스크 관리팀과 법무, 컴플라이언스 팀의 승인을 받아 실제 운영 환경(Production)에 올릴 수 있느냐는 점이다. 이는 단순한 엔지니어링 문제를 넘어 기업의 운영 체계를 다시 설계해야 하는 도전이다.

금융 정산, 컴플라이언스 프로세스, 제조 품질 검사, 임상 문서 작성과 같은 분야에서는 투명성 결여가 단순한 실수를 넘어 심각한 규제 위반으로 이어진다. 이 때문에 법무 및 리스크 팀은 모델의 성능과 관계없이 에이전트 프로젝트의 배포를 차단하는 경우가 많다. 특히 레거시 워크플로우에 자율 에이전트를 결합할 때 발생하는 통합 복잡성이 프로젝트 취소의 주요 원인으로 꼽힌다. 기존의 결정 지점과 승인 체계, 감사 추적 경로를 인간의 개입 없이 작동하는 시스템에 맞춰 완전히 재구축해야 하기 때문이다.

규제 환경의 압박도 구체화되고 있다. EU AI 법(EU AI Act)의 고위험 시스템에 대한 인간 감독 요구 사항은 디지털 옴니버스 협정에 따라 준수 기한이 2027년 12월로 연장되었지만, 방향성은 명확하다. 현재 에이전트 시스템을 구축하는 기업들은 기술적 강제 여부와 상관없이 이러한 규제 요구 사항을 설계 단계부터 반영해야 하는 상황이다. 결국 보안과 리스크 이슈는 규제 불확실성이나 기술적 장벽보다 더 큰 확장 저해 요소가 되었다.

실무자가 점검해야 할 '교정된 통제'의 4가지 기준

거버넌스 성숙도가 높은 선도 기업들은 AI 계획을 중단하는 대신 자율성을 분배하는 방식을 재구조화하고 있다. 이들이 채택하는 핵심 패턴은 '범용 에이전트'가 아닌 '좁은 범위의 에이전트'를 사용하는 것이다. 전체 워크플로우를 단일 책임 에이전트들로 쪼개어 권한을 엄격히 제한하면, 실패 범위가 좁아지고 감사가 훨씬 쉬워진다.

결정 경계에서의 인간 체크포인트 설정 방식도 바뀌고 있다. 결과가 나온 뒤에 검토하는 것이 아니라, 민감한 데이터가 이동하거나 외부 시스템이 트리거되기 직전에 인간이 개입하는 구조를 설계한다. 맥킨지는 에이전트 파이프라인 자체에 데이터 기반의 실시간 모니터링을 구축하고, 고위험 결정에 대해서만 인간이 최종 책임을 지는 프레임워크를 제시한다.

설계 단계에서 반드시 확보해야 할 산출물은 '결정 추적성(Decision Traceability)'이다. 어떤 에이전트가 왜 그런 결정을 내렸는지에 대한 전체 액션 로그와 계보를 즉시 호출할 수 있어야 한다. 또한, 온프레미스나 통제된 환경에 배포하여 에이전트가 오작동했을 때의 피해 범위(Blast Radius)를 물리적으로 제한하는 데이터 주권 전략을 병행한다.

기업 아키텍트가 현재의 에이전트 배포 여부를 판단할 때 확인해야 할 체크리스트는 다음과 같다. 첫째, 6개월 뒤에 특정 액션의 이유를 로그 분석이나 추측 없이 정확히 재구성할 수 있는가. 둘째, 모든 에이전트가 명확히 제한된 책임을 갖는가, 아니면 일부가 광범위한 과업을 '알아서' 처리하도록 권한을 가졌는가. 셋째, 인간의 체크포인트가 실행 전 결정 경계에 배치되었는가. 넷째, 에이전트가 오작동할 때 얼마나 많은 하위 시스템과 데이터에 접근할 수 있는가. 이 질문들에 답하는 과정이 곧 AI 에이전트의 실질적인 도입 가능성을 결정하는 기준이 된다.