자율형 에이전트가 마주한 새로운 보안 지점과 런타임 위협

기업 환경에서 AI 에이전트는 사용자의 질문에 답하는 보조 도구를 넘어 스스로 추론하고 도구를 호출하며 다단계 업무를 수행하는 자율 시스템으로 진화하고 있다. 전통적인 소프트웨어가 개발자가 미리 작성한 논리에 따라 실행되는 반면, AI 에이전트는 상황에 맞춰 어떤 도구를 쓰고 어떤 API를 호출할지 동적으로 결정한다. 이러한 유연성은 비즈니스 가치를 높이지만 동시에 새로운 보안 취약점을 만든다. NIST SP 800-207 등이 제시하는 기존 제로 트러스트 아키텍처는 사용자가 누구인지, 무엇에 접근할 수 있는지, 어떤 작업을 수행할 권한이 있는지를 묻는 세 가지 질문에 집중한다. 그러나 AI 에이전트는 정당한 기업 신원으로 인증을 거치고 Microsoft 365, ServiceNow, Salesforce, GitHub 같은 시스템에 접근 권한을 부여받은 뒤에도 실행 과정에서 끊임없이 행동을 바꾼다. 인증은 에이전트의 신원을 확인하지만, 일단 인증이 끝난 뒤 에이전트가 수행하는 자율적 판단은 기존 가시성 통제 밖에서 이루어진다.

이러한 실행 단계의 공백을 파고드는 대표적인 위험은 5가지로 나타난다. 첫째는 목표 이탈(Goal drift)로, 고객 보고서를 준비하던 에이전트가 응답 품질을 높인다는 이유로 무관한 기밀 정보를 자율적으로 수집하는 현상이다. 둘째는 과도한 도구 호출(Excessive tool invocation)로, 명확한 런타임 통제가 없는 상태에서 모델이 유용하다고 판단해 불필요한 API를 호출하거나 설정을 변경하는 행위다. 셋째는 메모리 오염(Memory poisoning)으로, 공격자가 장기 기억이나 검색 시스템에 오해를 유도하는 지시사항을 심어 향후 결정을 왜곡하는 방식이다. 넷째는 맥락 조작(Context manipulation)으로, MITRE ATLAS 프레임워크가 분류하는 적대적 행동처럼 검색된 문서나 시스템 프롬프트를 조작해 기본 모델을 직접 손상하지 않고도 에이전트의 자율적 행동을 간접 제어한다. 다섯째는 다중 에이전트 증폭(Multi-agent amplification)으로, 특화된 에이전트들이 협업하는 과정에서 하나의 에이전트가 잘못 작동하면 다운스트림 에이전트들이 이를 그대로 신뢰해 연쇄 실패를 일으키는 현상이다.

런타임 트러스트 아키텍처와 관측 가능성 확보 방식

실행 중인 에이전트의 행동이 조직의 정책과 사용자의 원래 의도에 부합하는지 계속 확인하기 위해 도입되는 개념이 런타임 트러스트다. 이를 구현하는 아키텍처는 다섯 가지 상호 보완적 능력을 바탕으로 작동한다. 의도 검증(Intent validation)은 민감한 작업 실행 전에 해당 행동이 원래 목적에 부합하는지, 범위를 초과하지 않는지 평가한다. 행동 모니터링(Behavioral monitoring)은 도구 사용 패턴, API 활동, 추론 과정, 실행 빈도를 관찰해 예기치 않은 동작을 가시화한다. 정책 enforcement는 금융 거래 승인 한도 초과 차단, 권한 변경 방지, 민감 데이터 검색 제한 등을 통해 자율적 의사결정을 제어한다. 최소 권한 실행(Least-privilege execution)은 OWASP GenAI Security Project가 강조하듯이 영구적인 권한 부여 대신 런타임 맥락에 기반해 단기 권한을 동적으로 발급하는 방식이다. 마지막으로 인간 감독(Human oversight)은 재정 승인이나 규제 관련 작업처럼 영향도가 큰 작업에 명시적 인간 확인을 요구한다. 또한 모델 맥락 프로토콜(MCP) 서버 검증, RAG 지식 저장소의 문서 무결성 확보, 영구 메모리의 생명주기 관리 역시 런타임 트러스트의 범주에 포함된다. 보안 팀은 에이전트가 왜 특정 도구를 골랐는지, 어떤 데이터가 결정을 유도했는지 추적하기 위해 런타임 로깅과 감사 추적(Audit trails)을 운영 전반에 도입해야 한다.

실무 관점에서 보안 팀은 기존 보안 프로그램을 처음부터 다시 만들 필요 없이 런타임 트러스트를 기존 거버넌스 프로세스에 확장해 적용해야 한다. 지금 실무자가 검토해야 할 첫 단계는 조직 내 AI 에이전트와 그들이 호출할 수 있는 도구 목록을 식별하고, API와 도구에 최소 권한 접근 원칙을 설정하는 것이다.