취약점의 작동 방식과 자가 증식 과정

흰색 바탕에 흰색 글씨로 숨겨진 JSON 형식의 악성 프롬프트가 공격의 시작점이다. 사용자가 이 문서가 포함된 컨텍스트에서 코파일럿 포 워드(Copilot for Word)의 '매직 펜'이나 '코파일럿으로 편집' 기능을 사용하면, LLM은 텍스트 서식을 제거하고 내용을 읽는 과정에서 숨겨진 명령어를 인식한다. 이 명령어는 코파일럿이 사용자의 요청 대신 공격자의 지시를 수행하도록 유도하는 교차 도메인 프롬프트 인젝션 공격(XPIA)의 일종이다.

실제 증명 사례(PoC)에서는 재무 보고서를 작성하는 과정에서 코파일럿이 문서 내의 모든 수치를 절반으로 줄이도록 조작했다. 더 심각한 지점은 자가 증식 메커니즘이다. 코파일럿은 수치를 조작함과 동시에, 원래 문서에 있던 악성 프롬프트를 새로 생성된 문서 하단에 다시 흰색 글씨로 복제해 넣는다. 이렇게 생성된 '감염된 문서'가 다시 다른 작업의 참조 자료로 사용되면, 최초의 악성 문서 없이도 공격이 계속해서 전파되는 'AI 웜'의 형태를 띤다.

공격자는 피해자의 마이크로소프트 365 테넌트에 접근할 필요가 없다. 셰어포인트(SharePoint), 팀즈(Teams), 아웃룩(Outlook) 등을 통해 악성 문서 하나만 전달하면 충분하다. 특히 코파일럿이 원드라이브(OneDrive)에서 관련 문서를 자동으로 검색해 참조하는 기능이 활성화되어 있다면, 사용자가 직접 문서를 첨부하지 않아도 저장소 내의 악성 문서가 실행될 수 있다.

LLM 아키텍처의 구조적 결함과 채택 리스크

이번 사건은 단순한 버그가 아니라 현재 LLM 기반 시스템이 가진 구조적 취약점을 드러낸다. AI 어시스턴트가 유용하게 작동하려면 이메일, 문서, 웹페이지 등 외부 데이터를 읽어 컨텍스트 윈도우에 넣어야 한다. 문제는 LLM이 이 외부 데이터를 처리할 때, 그것이 '참조해야 할 정보'인지 '수행해야 할 명령'인지 구분하는 명확한 경계가 없다는 점이다. 데이터 자체가 계산 과정에 참여해 시스템 지시문이나 사용자 요청을 덮어쓰는 구조다.

마이크로소프트 보안 응답 센터(MSRC)는 보고 이후 모델 업그레이드를 포함한 여러 차례의 패치를 적용했다. 특정 페이로드(Payload)를 막는 데는 성공했지만, 명령어의 문구만 살짝 바꾸면 다시 작동하는 '취약점 클래스' 자체는 해결되지 않았다. 이는 탐지 모델을 앞에 세우더라도, 탐지 모델보다 더 뛰어난 의미 해석 능력을 가진 공격 프롬프트가 등장하면 결국 뚫릴 수밖에 없는 'LLM의 무한 루프' 문제와 연결된다.

기업들이 코파일럿을 업무 워크플로우에 깊게 통합할수록 리스크는 증폭된다. 특히 마이크로소프트 코워커(Coworker)나 스카우트(Scout)처럼 AI가 문서를 자동으로 생성하고 도구를 조작하는 시스템으로 확장될 경우, 이러한 자가 증식 공격은 기계 속도로 조직 전체에 퍼질 수 있다. 신뢰하는 내부 동료가 공유한 문서가 사실은 AI 웜의 매개체일 수 있다는 점이 가장 큰 위협이다.

AI 실무자가 관찰해야 할 보안 판단 기준

가장 큰 문제는 추적 가능성의 상실이다. 감염된 문서는 정당한 내부 사용자에 의해 생성되고 공유되므로, 사후에 조작의 기원을 찾기가 매우 어렵다. 코파일럿의 편집 내용은 사용자가 승인하고 나면 변경 이력이 명확히 남지 않기 때문에, 정보의 무결성이 훼손된 상태로 의사결정의 기초 자료가 될 위험이 크다.

한국의 AI 도입 기업과 개발자는 다음의 체크리스트를 통해 리스크를 관리해야 한다. 우선 AI가 생성한 결과물에서 수치나 핵심 조건이 미세하게 변경되지 않았는지 검증하는 프로세스를 구축해야 한다. 특히 외부에서 유입된 문서를 참조해 보고서를 작성할 때, AI가 원문의 내용을 그대로 반영했는지 아니면 임의의 지시를 수행했는지 대조하는 단계가 필수적이다.

기술적인 대응책으로는 생성된 문서의 메타데이터에 소스 자료의 출처(Provenance)와 모델이 수행한 편집 내역을 강제로 기록하는 제어 장치를 고려해야 한다. 현재의 LLM 구조상 인젝션 자체를 완벽히 막는 것은 불가능에 가깝다. 따라서 '외부 콘텐츠가 컨텍스트에 들어오는 순간 어느 정도의 확률로 시스템이 타협될 수 있다'는 전제하에, AI 출력물의 무결성을 검증하는 독립적인 레이어를 설계하는 것이 현실적인 선택지다.