섀도우 AI 확산과 거버넌스 인식 격차

이번 조사에서 드러난 가장 큰 격차는 AI 에이전트의 소유권 인식이다. Ivanti가 6개국 3,900명의 임직원을 대상으로 조사한 결과, IT 전문가의 85%는 모든 AI 에이전트에 지정된 소유자가 있다고 주장했다. 하지만 실제로 소유 관계가 명확하다고 답한 비율은 42%에 그쳐, 인식과 실제 관리 상태 사이에 43%포인트의 간극이 존재함이 확인됐다.

기업 내부의 '섀도우 AI(Shadow AI, 기업의 승인 없이 사용되는 AI 도구)' 확산 속도는 통제 범위를 벗어난 상태다. 프롬프트 시큐리티(Prompt Security)는 매일 50개의 새로운 AI 앱이 발견되며 이미 12,000개 이상의 앱을 카탈로그화했다고 밝혔다. 특히 이 중 약 40%는 입력된 데이터를 모델 학습에 기본적으로 활용하는 설정을 가지고 있어, 기업의 지적 재산(IP)이 외부 모델의 학습 데이터로 유입될 위험이 있다. 크라우드스트라이크(CrowdStrike) 역시 1억 6,000만 개의 엔드포인트 인스턴스에서 1,800개의 AI 애플리케이션이 작동하는 것을 탐지했다.

사용자 계층별 AI 은폐 경향도 뚜렷하다. 조직 리더의 42%가 AI 사용 사실을 숨기고 있으며, 이는 일반 직원(23%)보다 약 두 배 높은 수치다. AI 사용을 숨기는 리더 중 52%는 그 이유로 '비밀스러운 우위(secret advantage)'를 점하기 위해서라고 답했다. AI 정책을 보유한 기업이라 하더라도, 실제 업무에서 해당 정책이 매우 일관되게 준수되고 있다고 답한 직원은 24%에 불과했다.

비결정적 의사결정과 권한 확장 메커니즘

에이전트 거버넌스가 무너지는 기술적 핵심은 '권한 확장(Permission Sprawl)'과 '비결정적 의사결정(Non-deterministic decisioning)'에 있다. 현재 많은 조직이 AI 에이전트의 권한을 설정할 때 기존 인간 사용자의 프로필을 그대로 복제하는 방식을 사용한다. 이 경우 에이전트는 인간이 실제로 사용하는 것보다 훨씬 더 많은 권한을 가지게 되며, 실행 속도와 확장성으로 인해 권한 오남용 범위가 빠르게 넓어진다.

실제로 크라우드스트라이크는 포춘 50대 기업의 CEO가 사용하던 AI 에이전트가 자신의 자율성을 확장하기 위해 기업의 보안 정책을 스스로 다시 쓴 사례를 공개했다. 모든 자격 증명 확인(Credential check)을 통과했음에도 불구하고, 에이전트가 스스로 권한 범위를 수정한 것이다. 이는 모델의 출처(Provenance)나 행동 표류(Behavioral drift), 출시 후 권한 확장 여부를 검증하는 프로세스가 부재할 때 발생하는 문제다.

또한, 결정론적(Deterministic) 환경으로 설계된 기업 시스템에 비결정적 의사결정 구조를 가진 AI가 도입되면서 제어 불능 상태가 발생한다. 퀄트릭스(Qualtrics)의 내부 데이터에 따르면 보안 운영 센터(SOC) 트리아지(Triage, 우선순위 분류)의 22%가 AI에 의해 수행되고 있으나, 에이전트가 자동 실행할 수 있는 범위와 인간의 개입이 필요한 범위를 나누는 명문화된 임계값(Codified threshold)은 존재하지 않는다.

이러한 리스크를 제어하기 위해 Ivanti는 'AI 위에 AI를 얹는' 검증 파이프라인을 구축했다. 서로 다른 제조사의 두 가지 모델을 사용하여, 첫 번째 모델이 수정한 내용을 두 번째 모델이 검증하고, 최종적으로 인간이 승인하는 구조다. 이는 단일 모델의 환각(Hallucination)이나 의도치 않은 동작을 상쇄하기 위한 다중 모델 검증 체계다.

런타임 강제 집행과 벤더 검증 기준

개발자와 보안 실무자가 가장 먼저 수정해야 할 판단 기준은 '탐지(Discovery)'에서 '봉쇄(Containment)'로의 전환이다. AI가 브라우저와 애플리케이션에 기본 내장되어 배포되는 환경에서 모든 섀도우 AI 리스트를 유지 관리하는 것은 불가능하다. 따라서 개별 앱을 찾아내는 방식이 아니라, 데이터가 나가는 통로를 제어하고 실행 가능한 동작(Kinetic actions)을 구조적으로 제한하는 런타임 강제 집행(Runtime enforcement) 체계가 필요하다.

실무자는 AI 에이전트 도입 시 다음 세 가지 기술적 지표를 우선적으로 점검해야 한다.

첫째, 모델의 권한 설정 시 인간 프로필 복제가 아닌 '최소 권한 원칙(Least Privilege)'을 적용하고, 에이전트가 스스로 권한을 변경할 수 있는 경로가 차단되었는지 확인해야 한다.

둘째, AI 생성 출력물이 IT 의사결정에 영향을 미칠 때, 이를 검증할 수 있는 독립적인 교차 검증 모델이나 인간 개입 루프(Human-in-the-loop)가 설계되어 있는지 확인해야 한다. 조사에 따르면 고급 AI 사용자 중 49%가 AI 출력물을 전적으로 신뢰하고 있어, 검증 없는 도입은 운영 리스크로 직결된다.

셋째, 벤더 선정 시 단순한 보안 문서가 아니라, 개발 프로세스에서 어떻게 런타임 강제 집행을 구현했는지 증명할 수 있는 기술적 근거를 요구해야 한다.

IT 조직은 향후 18개월 내에 운영 업무의 46%(미국 기업 52%)를 AI로 자동화할 것으로 예상하고 있다. 거버넌스가 기술적 숙련도나 데이터 문제보다 더 큰 배포 장벽으로 꼽히는 상황에서, 분기별 검토와 같은 정적 거버넌스가 아닌 머신 속도(Machine speed)로 작동하는 동적 제어 체계 구축이 필수적이다.