많은 기업이 AI 에이전트 관련 보안 사고와 미확인 에이전트

82%의 IT 및 보안 전문가가 기업 환경 내에서 이전에 알려지지 않은 AI 에이전트가 작동하고 있음을 발견했다. AI 에이전트의 자율성이 높아지면서 관리자가 인지하지 못한 상태로 시스템에 접근하는 사례가 늘어난 결과다. 2026년 4월 Token Security(토큰 시큐리티)가 후원하고 Cloud Security Alliance(CSA, 클라우드 보안 연합)가 418명의 전문가를 대상으로 실시한 설문조사 결과다. 응답자의 65%는 지난 1년간 AI 에이전트와 관련된 보안 사고를 실제로 경험했다고 밝혔다.

World Economic Forum(세계경제포럼)은 2026년 5월 위임된 행동의 감사와 집행, 책임 소재를 명확히 하기 위해 'Agent Capability and Authorization Profile'을 도입했다. 에이전트에게 부여된 권한과 수행 가능한 능력을 명시적으로 정의해 사후 추적이 가능하게 만든 체계다. 싱가포르의 'Model AI Governance Framework for Agentic AI(에이전틱 AI를 위한 모델 AI 거버넌스 프레임워크)' 업데이트 내용도 유사하다. 액세스 제어와 행동 가드레일, 그리고 인간의 승인 절차를 서로 다른 제어 항목으로 분리해 관리하도록 명시했다.

AI 에이전트의 기술적 능력과 비즈니스 권한(Decision

콘텐츠 필터는 안전하지 않은 출력을 차단할 수 있지만, 에이전트가 환불을 발행하거나 생산 시스템을 수정할 권한이 있는지는 판단하지 못한다. 에이전트가 지침을 완벽하게 따르더라도 비즈니스가 승인하지 않은 행동을 취할 위험이 존재한다. 기술적 능력과 비즈니스 권한(특정 비즈니스 행위를 결정할 수 있는 권리)은 서로 다른 문제이며 엄격히 구분되어야 한다.

행동 제한은 시스템 프롬프트 외부의 정책 레이어(에이전트의 행동을 평가하고 제어하는 기술 계층)에서 기술적으로 강제되어야 한다. 자연어 지침으로 행동을 제한하는 방식은 기술적 경계가 아니라 단순한 제안에 불과하다. 실제 런타임에서는 에이전트가 특정 행동을 제안하면 정책 레이어가 이를 가로채 평가하는 구조를 가진다.

이 평가 단계에서는 에이전트의 신원과 위임된 주체, 요청한 도구, 관련 데이터, 트랜잭션 컨텍스트 및 잠재적 영향력이 검토된다. 검토 결과에 따라 시스템은 Allow, Approve, Recommend, Deny 중 하나의 값을 반환한다. 이를 통해 에이전트의 제안이 실제 비즈니스 권한 내에 있는지 기술적으로 검증한다.

에이전트에게 도구 접근 권한을 부여하기 전, 비즈니스 위임

기업 도구에 대한 접근 권한을 부여하기 전, 비즈니스가 위임한 권한을 기계가 강제할 수 있는 기록 형태로 명시해야 한다. 이를 위해 Agent Authority Contract(에이전트 권한 계약)를 수립한다. 이 계약은 결과 책임자, 읽기·추천·쓰기·확정 등의 수행 가능 작업, 접근 가능 시스템과 데이터를 정의한다. 금액 임계값이나 레코드 수 같은 중요도 제한, 에스컬레이션 트리거, 작업 취소 가능 여부와 권한자, 권한 만료 및 철회 방법까지 7가지 핵심 질문에 답해야 한다.

에이전트의 모든 중요 행동은 자율 실행, 승인, 추천, 거부의 네 가지 결과로 매핑된다. 저위험의 가역적 행동은 자율적으로 실행하고, 결제나 생산 시스템 변경은 인간이나 정책 서비스의 승인을 거친다. 맥락적 판단이 필요하거나 영향이 큰 작업은 인간이 최종 결정을 내리는 추천 단계로 처리하며, 중요 데이터 삭제는 권한 밖의 거부 영역으로 설정한다.

에이전트의 모든 행위를 자율 실행, 승인 대기, 추천, 거부의 4단계 결과로 매핑하여 관리하는 거버넌스 기준을 세워야 한다.