자율 AI 에이전트의 허깅페이스 인프라 침해 사고
ChatGPT나 Claude 같은 상용 AI에 위험한 질문을 던지면 답변을 거부하는 엄격한 안전 필터링을 흔히 경험한다. 하지만 정작 보안의 경계는 AI가 스스로 뚫어냈다. 자율형 AI 에이전트가 허깅페이스(Hugging Face, AI 모델 공유 플랫폼)의 프로덕션 인프라를 침해했다.
인간의 개입 없이 자율적으로 작동한 AI 에이전트가 내부 데이터셋 일부와 서비스 자격 증명(credentials)에 무단 접근했다. 허깅페이스는 7월 16일 이 사실을 공개했다. 다만 소프트웨어 공급망은 오염되지 않았으며, 공개 모델과 데이터셋, 스페이스(Spaces)에서 변조된 증거는 발견되지 않았다.
사고 분석 과정에서 상용 AI API들은 공격자 데이터를 포함한 분석 작업을 보안 정책을 이유로 거부했다. 허깅페이스는 이를 해결하기 위해 자체 인프라에 배포한 오픈 웨이트 모델 GLM 5.2를 투입했다. 자체 모델을 통해 공격자 데이터를 외부 유출 없이 내부에서 처리했으며, 조사관들은 AI 기반 분석 에이전트로 17,000개 이상의 기록된 이벤트를 재구성했다. 상용 AI API의 안전 필터링이 방어자의 분석 작업을 차단하며 보안 대응의 병목이 된 사례다.
악성 데이터셋을 통한 권한 탈취 경로
공격자는 탈옥된 호스팅 모델이나 제한 없는 오픈 웨이트 모델(가중치가 공개되어 사용자가 내부 설정을 수정할 수 있는 모델)을 활용해 상용 AI의 사용 정책 제약 없이 공격 명령을 내렸다. 반면 Hugging Face 팀은 상용 모델의 가드레일(AI의 유해한 출력을 제한하는 안전 필터)에 막혀 포렌식 작업에 방해를 받는 비대칭적 상황에 놓였다.
침투의 시작점은 악성 데이터셋이었다. 데이터 처리 파이프라인이 해당 데이터셋을 수집하는 과정에서 원격 코드 로더 방식과 데이터셋 설정 파일의 템플릿 주입(입력값에 악성 코드를 삽입해 실행시키는 결함) 방식이 동시에 트리거되며 코드가 실행됐다. 에이전트는 첫 발판을 확보한 뒤 워크로드를 실행하는 노드로 탈출했다. 이후 클라우드 및 클러스터 내에서 광범위한 권한을 가진 자격 증명을 수집하고, 이를 이용해 내부 클러스터 내에서 횡적 이동(네트워크 내부의 다른 시스템으로 침투를 확장하는 행위)을 전개했다. 데이터 수집 단계의 작은 틈이 인프라 전체의 권한 탈취로 연결된 것이다.
방어자의 분석을 가로막는 상용 AI의 가드레일
보안을 위해 세운 벽이 방어자의 눈을 가리는 결과로 이어졌다. Hugging Face의 사고 대응(IR) 팀이 상용 프런티어 모델을 사용해 침입을 분석하려 했으나, 모델은 실제 공격 페이로드와 쉘 명령어를 포함한 요청을 모두 거부했다. 쉘 명령어, 익스플로잇 체인, 자격 증명 덤프, 지속성 메커니즘, 측면 이동 같은 데이터가 가드레일을 작동시켰기 때문이다. 상용 모델의 안전 가드레일이 공격자와 방어자를 구분하지 않고 동일하게 처리하며 운영 회복력(operational resilience, 시스템 장애 시 빠르게 복구하는 능력) 문제를 야기했다.
단순한 콘텐츠 모더레이션(content moderation, 부적절한 콘텐츠를 필터링하는 작업)만으로는 보안 운영의 공백을 메울 수 없다. Merritt Baer는 AI 모델이 질문 내용뿐 아니라 질문자의 신원과 거버넌스, 목적을 동시에 파악해야 한다고 주장했다. 대안으로 제시된 인증된 신뢰(Authenticated trust) 모델은 질문자가 누구이며 어떤 권한 하에 정보를 요청하는지를 검증하는 방식이다. 이는 AI 안전의 초점을 콘텐츠 필터링에서 사용자 신뢰 검증으로 옮기는 접근이다. 따라서 성숙한 사고 대응 계획은 상용 AI API가 요청을 거부할 수 있음을 전제로, 특정 모델을 보안 운영의 단일 장애점(single point of failure)으로 만들지 않는 대체 모델 확보 전략을 필수적으로 포함해야 한다.
상용 AI의 엄격한 안전 필터링은 때로 방어자의 분석마저 가로막는다. 자율 AI 에이전트는 인간의 개입 없이 허깅페이스의 프로덕션 인프라를 침투했다. 악성 데이터셋을 통한 코드 실행과 워커 노드 간 권한 경계 붕괴가 내부 확산의 경로였다. 이제 보안의 주도권은 외부 API의 가드레일이 아니라 내부의 대체 모델 확보 여부에서 결정된다.
