발표에서 확인된 핵심 사실

오정보(Misinformation)는 전문가가 꼽은 위험 순위에서는 13위에 머물렀지만, 실제 사고 기록에서는 2위를 기록하며 가장 극명한 차이를 보였다. 연구진은 두 지표가 일치하지 않을 확률이 99%라고 보고하며 이를 두 증인 사이의 가장 큰 불일치라고 표현했다. 전문가의 직관적인 판단과 실제 현장에서 발생하는 사고 데이터가 서로 다른 방향을 가리키고 있다는 뜻이다.

Kyriakos “Rock” Lambros와 Steve Wilson은 베이지안 모델(데이터의 오류를 확률적으로 보정해 정확한 수치를 찾는 통계 모델)을 통해 LLM 보안 사고를 분석했다. CVE(공개된 보안 취약점 목록), GitHub Security Advisories(깃허브 보안 권고), OSV(오픈소스 취약점 데이터베이스), AIAAIC AI-harm 데이터베이스에서 추출한 7,714건의 사고 데이터를 활용했다. 다양한 경로로 수집된 실제 사고 사례를 통해 보안 위협의 실체를 파악하려 했다.

연구진은 수집한 사고 중 6,639건을 20가지 분류 체계에 따라 세밀하게 라벨링했다. 이를 바탕으로 데이터 기반의 순위를 산출한 뒤 전문가 투표 결과와 대조하는 방식을 취했다. 단순한 건수 합산이 아니라 분류 과정에서 발생할 수 있는 오류까지 계산해 순위의 정확도를 높인 것이 특징이다.

기술이 실제로 작동하는 방식

6,639건의 실제 사고 사례를 분석한 결과, 프롬프트 인젝션의 위험도 순위는 12위에 머물렀다. OWASP Top 10 for LLM Applications(거대언어모델의 가장 치명적인 보안 위험 10가지 목록)에서 3년 연속 1위를 차지했던 전문가들의 판단과는 큰 차이가 있다. 이러한 순위 하락은 공격의 위험성이 낮아졌다기보다, 보안 도구가 탐지할 수 없는 영역에서 공격이 이뤄지는 가시성의 문제로 풀이된다.

공격자는 모델이 읽어들이는 로그 항목이나 고객 지원 티켓, 검색 문서 같은 콘텐츠 내부에 몰래 지침을 숨겨 전달한다. AI 에이전트는 이 지침을 그대로 읽고, 자신이 업무 수행을 위해 정당하게 보유한 권한을 사용해 공격자가 의도한 도구를 호출한다. 사용자의 권한을 가로채는 것이 아니라 에이전트가 이미 가진 권한을 그대로 이용하게 만드는 방식이다.

이 과정은 프로그램의 코드 결함을 이용하는 것이 아니라 입력된 데이터에 속는 방식이라 제품 자체의 결함이 발생하지 않는다. 보안 스캐너는 보통 코드의 오류를 찾아 CVE(공개된 소프트웨어 보안 취약점 목록)라는 이름으로 기록하는데, 프롬프트 인젝션은 기록을 남기지 않는 구조적 특성을 가진다. 스캐너가 찾을 수 있는 흔적이 없기에 실제 사고 기록에서는 순위가 낮게 측정되는 결과로 이어진다.

보고서에 따르면 2025년에 90개 이상의 조직이 생성형 AI

90개가 넘는 조직이 2025년 한 해 동안 생성형 AI 도구에 악성 프롬프트를 주입하는 공격을 받았다. 공격자들은 정당한 도구에 악성 명령어를 심어 계정 정보와 암호화폐를 탈취했다. CrowdStrike(크라우드스트라이크, 보안 전문 기업)는 2026 Global Threat Report에서 프롬프트가 새로운 맬웨어(악성 소프트웨어)가 된 상황을 다뤘다.

모델 내부에 작성한 보안 규칙은 행동을 유도하는 제안일 뿐, 강제할 수 있는 보안 제어 장치가 아니다. 모델이 스스로 규칙을 어기거나 우회할 가능성이 항상 존재한다. 따라서 모델 외부에서 권한을 관리하는 권한 부여 게이트(authorization gate, 실행 허가 단계)를 세우는 것이 훨씬 효과적이다.

에이전트가 DNS(도메인 이름 시스템, 인터넷 주소를 숫자로 된 IP 주소로 바꿔주는 체계) 변경 같은 고영향 작업을 제안할 수는 있어도, 이를 실행할 권한을 스스로 부여하지 못하도록 모델 외부에 권한 게이트를 설정했는지 확인해야 한다.