프롬프트 인젝션, LLM의 가장 치명적인 취약점으로 부상

업무 효율을 높이려 ChatGPT나 Copilot 같은 AI 도구를 도입한 기업이 늘고 있다. 하지만 편리함 뒤에 숨은 보안 허점이 구체화됐다. OWASP(오픈 웹 애플리케이션 보안 프로젝트) LLM Top 10 (2025)은 프롬프트 인젝션(Prompt injection)을 가장 치명적인 취약점인 LLM01로 선정했다.

해당 취약점은 2회 연속 가장 중요한 LLM 전용 취약점 카테고리로 식별됐다. 이는 LLM이 시스템의 지침(instructions)과 사용자가 제공하는 데이터(data)를 안정적으로 분리하지 못하는 결함이 유지되고 있음을 의미한다. 정교하게 설계된 입력값을 통해 AI의 동작을 조작하는 공격에 쉽게 노출되는 구조다.

CrowdStrike(크라우드스트라이크)는 280개 이상의 추적 대상 적대 세력에 대한 인텔리전스를 분석해 2026 Global Threat Report를 발행했다. 보고서에 따르면 2025년에 90개 이상의 조직이 생성형 AI 도구에 대한 프롬프트 인젝션 공격을 받았다. 공격자들은 인젝션을 통해 자격 증명과 암호화폐를 탈취하는 명령을 생성했다. AI 기반 공격 규모는 전년 대비 89% 증가했으며, 프롬프트 인젝션은 진입점 및 공격 증폭기로 작용하며 프롬프트가 새로운 악성코드로 기능하고 있다.

RAG 파이프라인과 모델 라우터로 확장된 공격 경로

프롬프트 인젝션 기술은 이제 단순한 질문 조작을 넘어 RAG(검색 증강 생성, 외부 데이터를 검색해 답변을 생성하는 기술), 모델 라우터(쿼리를 최적의 모델로 배분하는 시스템), 멀티 에이전트 아키텍처를 표적으로 삼는다. 공격자는 문서, 블로그 기사, GitHub README 등에 악성 정보를 심어두고 기업의 RAG 파이프라인이 이를 수집하게 만드는 공급망 오염 방식을 사용한다. 또한 모델 라우터를 조작해 보안이 취약한 모델로 경로를 강제해 보안 필터를 우회하거나, 백만 토큰에 달하는 컨텍스트 윈도우를 이용해 시스템 처리 한계를 공격하는 컨텍스트 오버플로 방식을 사용한다. 공격 대상이 개별 프롬프트에서 AI 구동 인프라 전체로 확장된 것이다.

2024년 8월 PromptArmor(프롬프트 보안 분석 기업)는 Slack AI에서 비공개 채널의 데이터를 유출할 수 있는 취약점을 공개했다. 공격자가 공개 채널에 악성 지침을 배치하거나 업로드된 문서 속에 지침을 숨기면, 시스템이 이를 실행해 접근 권한이 없는 비공개 개발자 채널의 API 키 등을 탈취하는 방식이었다. AI가 내부 데이터에 접근하는 권한이 공격자의 데이터 탈취 경로로 변질될 수 있음이 확인됐다.

공격 경로가 인프라 전체로 확장됨에 따라, 사용자 개입 없이도 데이터가 유출되는 고위험 공격이 현실화되고 있다.

제로 클릭 공격의 실체와 보안 설계의 방향

2025년 6월 Aim Security는 실제 서비스 중인 AI 시스템을 대상으로 한 최초의 제로 클릭(zero-click, 사용자 조작 없이 실행되는 공격) 프롬프트 인젝션 익스플로잇인 EchoLeak(CVE-2025-32711)을 공개했다. CVSS 9.3의 고위험 취약점으로 식별된 이 공격은 Microsoft 365 Copilot을 겨냥한다. 공격자가 정교하게 제작한 이메일 한 통을 전송하는 것만으로 Copilot이 내부 파일에 접근하고 그 내용을 공격자가 제어하는 서버로 전송하게 만든다. 사용자 상호작용 없이 내부 데이터가 유출되는 경로가 구체적으로 증명되었다.

기업은 LLM을 자율적인 의사결정자가 아닌 신뢰할 수 없는 해석기(untrusted interpreters, 입력값을 그대로 믿지 않고 검증이 필요한 구성 요소)로 정의하는 보안 설계 기준을 수립해야 한다. 모델의 접근 권한을 엄격히 제한하고 신뢰할 수 없는 콘텐츠를 물리적으로 분리하는 설계가 우선이다. 특히 도구 호출 과정에서 인간의 승인을 거치도록 모니터링 체계를 구축해 고영향 작업의 오작동을 막아야 한다. RAG 파이프라인 내 콘텐츠 출처를 철저히 검증하고 모델 라우터를 강화하는 조치가 필요하다. LLM을 시스템의 핵심 결정권자가 아닌 상시 검증 대상인 구성 요소로 정의하는 것이 보안 설계의 핵심이다.

업무 효율화를 위해 ChatGPT나 Copilot을 도입한 기업들은 OWASP LLM Top 10(2025)이 LLM01로 선정한 프롬프트 인젝션이라는 실질적 위협에 직면했다. RAG 파이프라인 오염과 EchoLeak 같은 제로 클릭 공격은 단순한 입력값 조작을 넘어 시스템의 신뢰 구조 자체를 무너뜨린다.

LLM을 자율적 결정권자가 아닌 신뢰할 수 없는 해석기로 정의하는 보안 설계 체계가 요구된다. AI의 출력값이 아닌 데이터가 처리되는 경로의 무결성을 검증하는 것이 보안의 실질적 종착지다.