2026년 7월, 자율형 AI 에이전트의 허깅페이스 침입

어제까지 안전하다고 믿었던 시스템이 하룻밤 사이에 뚫리는 일은 보안 담당자에게 가장 끔찍한 악몽이다. 2026년 7월, 전 세계 AI 모델과 데이터셋의 허브인 허깅페이스(Hugging Face)에서 실제로 이런 일이 벌어졌다. 내부 데이터셋과 서비스 자격 증명에 대한 무단 액세스가 확인된 이번 사고는 기존의 해킹 방식과는 다른 자율형 AI 에이전트의 공격이었다. AI 모델을 공유하는 플랫폼의 특성이 오히려 공격의 통로가 된 사례다.

공격자는 AI 플랫폼이 가진 특수한 취약점인 데이터 처리 파이프라인를 공략했다. 구체적으로는 데이터셋 처리 과정의 원격 코드 데이터셋 로더와 데이터셋 설정의 템플릿 주입 취약점을 악용해 처리 워커에서 코드를 실행했다. 여기서 획득한 권한을 바탕으로 노드 수준의 액세스 권한을 얻어냈으며, 이후 클라우드와 클러스터 자격 증명을 수집했다. 수집한 정보를 이용해 주말이라는 시간적 틈을 타 여러 내부 클러스터로 횡적 이동을 수행하며 침투 범위를 넓혔다. 데이터 로딩 단계에서 코드가 실행될 수 있다는 점을 이용해 내부망 깊숙이 들어온 것이다. 허깅페이스는 제한된 수의 내부 데이터셋과 서비스 자격 증명에 대한 무단 액세스를 확인했으며, 파트너나 고객 데이터의 영향 여부를 계속해서 평가하고 있다. 다만 공개된 모델이나 데이터셋, 스페이스(Spaces)에 대한 조작 흔적은 발견되지 않았으며 컨테이너 이미지와 패키지 등 소프트웨어 공급망 역시 깨끗한 상태로 확인되었다.

이번 공격을 수행한 주체는 사람이 일일이 명령을 내리는 방식이 아니라 자율형 에이전트 프레임워크였다. 이 프레임워크는 수천 개의 단기 샌드박스 스웜(swarm, 벌 떼처럼 무리 지어 작동하는 소규모 실행 환경) 형태로 작동하며 수만 번의 개별 행동을 동시에 수행했다. 명령 및 제어(C2) 서버는 공공 서비스에 배치해 스스로 위치를 옮기며 추적을 피하는 전략을 썼다. 이는 업계가 예상해 온 에이전트 기반 공격 시나리오가 이론을 넘어 실제 현장에서 구현된 사례다. 공격자가 직접 개입하지 않아도 AI가 스스로 취약점을 찾아내고 침투 경로를 확장하는 기계 속도의 공격이 현실화되었다. 단순한 스크립트 실행을 넘어 AI가 상황을 판단하며 공격 단계를 밟아나갔다는 점이 이번 침입의 가장 위협적인 지점이다.

17,000개 이벤트를 시간 단위로 분석한 AI 기반 대응

시간은 보안 사고 대응에서 가장 비싼 비용이다. 허깅페이스는 보안 텔레메트리(시스템 상태를 원격으로 측정해 수집한 데이터)에 LLM 기반 트리아지(수집된 신호의 우선순위를 분류하는 작업)를 적용한 이상 탐지 파이프라인으로 이번 침입을 최초 발견했다. 매일 쏟아지는 방대한 로그 데이터 속에서 실제 공격 신호만을 분리해내는 과정에 AI를 투입한 결과다. 기존의 단순 규칙 기반 탐지는 정해진 패턴만 잡아내지만, LLM은 서로 다른 지점에서 발생한 신호들의 상관관계를 분석해 침해 사실을 식별했다. 보안 운영자가 수만 개의 알람을 일일이 확인하는 대신 AI가 먼저 위험도를 분류해 핵심 신호만 전달하는 구조를 구축한 것이다.

분석 단계에서는 수만 건의 자동화된 행동을 파악하기 위해 LLM 기반 분석 에이전트를 투입했다. 공격자가 남긴 17,000개 이상의 행동 로그 전체를 AI 에이전트가 전수 조사했다. 이 에이전트는 로그의 각 이벤트를 분석해 공격의 타임라인을 시간 단위로 재구성하고, 침해 지표(IOC, 공격자가 남긴 IP나 파일 경로 같은 흔적)를 자동으로 추출했다. 또한 어떤 서비스 자격 증명이 탈취되었고 이를 이용해 내부의 어느 지점까지 이동했는지에 대한 매핑 작업을 수행했다. 특히 공격자가 분석가를 혼란시키기 위해 의도적으로 섞어놓은 기만 활동과 실제 시스템에 영향을 준 진성 공격 행위를 논리적으로 분리해내는 작업을 수행했다.

이러한 자동화 체계는 분석 시간을 획기적으로 단축해 대응 속도를 높였다. 보안 전문가가 수동으로 로그를 대조하고 분석했다면 며칠이 걸렸을 작업을 단 몇 시간 만에 완료했다. 기계 속도로 움직이는 자율형 에이전트 공격자의 전개 속도에 맞추기 위해 탐지와 분석 전 과정에 LLM 기반 자동화 도구를 도입한 결과다. 공격자가 AI를 이용해 공격 비용을 낮추고 속도를 높였다면, 방어자는 AI를 통해 분석 비용을 낮추고 대응 시간을 줄이는 방식으로 맞선 셈이다. 결국 현대의 보안 대응은 개별 분석가의 역량보다 데이터를 처리하는 자동화 파이프라인의 처리 용량과 속도에 의해 결정된다.

상용 API 가드레일 vs 오픈웨이트 모델 GLM 5.2

챗봇에게 단순한 코드 오류 수정을 요청했는데 위험한 요청이라며 답변을 거부당해 당황한 경험이 있을 것이다. 보안 담당자가 공격 로그를 분석할 때 겪는 상황은 이보다 훨씬 치명적이다. 허깅페이스는 사고 분석 초기 단계에서 상용 API 기반의 프론티어 모델을 활용했다. 하지만 분석 대상인 로그에는 실제 공격 명령과 익스플로잇 페이로드, C2 아티팩트가 포함되어 있었다. C2 아티팩트는 공격자가 감염된 시스템을 제어하기 위해 사용하는 명령 제어 서버의 흔적을 말한다. 상용 AI의 안전 가드레일은 이 데이터를 보는 순간 분석가를 공격자로 오인해 요청을 차단했다.

보안 분석이라는 정당한 목적이 있었지만 AI 서비스 제공자의 안전 정책이 오히려 실무적인 대응을 가로막는 장애물이 된 셈이다. 허깅페이스는 대안으로 오픈웨이트 모델인 GLM 5.2를 선택했다. 오픈웨이트 모델은 모델의 가중치 값이 공개되어 있어 외부 API를 거치지 않고 자체 서버에 직접 설치해 사용할 수 있는 형태를 뜻한다. 이 모델을 자체 인프라에 구축해 분석을 수행하자 상용 API에서 겪었던 가드레일 락아웃 현상이 사라졌다. 외부의 검열 없이 공격자의 행동 패턴을 있는 그대로 분석할 수 있는 환경이 마련된 것이다.

자체 인프라 구축은 단순히 차단을 피하는 것 이상의 보안 이점을 제공했다. 공격 로그에는 유출된 자격 증명이나 내부 시스템 경로 같은 민감한 정보가 섞여 있기 마련이다. 이를 상용 API로 전송하면 기업의 기밀 데이터가 외부 벤더의 서버로 유출되는 리스크가 발생한다. GLM 5.2를 내부 서버에서 구동함으로써 공격자가 남긴 데이터와 참조된 자격 증명이 외부로 한 번도 나가지 않게 통제했다. 분석의 효율성과 데이터 주권을 동시에 확보한 조치였다.

보안 사고 대응 체계를 설계할 때 상용 AI API에만 의존하는 것은 위험한 도박이다. 정작 위급한 상황에서 분석해야 할 데이터가 안전 정책에 걸려 분석이 중단되는 상황이 발생하기 때문이다. 실무자는 사고 발생 전, 자체 인프라에서 구동 가능한 고성능 오픈웨이트 모델을 미리 확보하고 검증해야 한다. 가드레일에 의한 분석 중단을 방지하고 민감한 침해 지표가 외부로 유출되지 않도록 하는 자체 모델 보유 여부가 대응 속도를 결정하는 핵심 기준이 된다.

이론을 넘어 현실이 된 '에이전틱 공격'의 위협

어제까지 연구실의 실험 단계였던 공격 기법이 오늘 실제 서비스 환경을 타격한다. 기술의 진보보다 무서운 것은 이를 배포하고 실행하는 자동화 파이프라인의 속도다. 이번 사고를 일으킨 자율형 에이전트 프레임워크(스스로 목표를 설정하고 도구를 선택해 작업을 수행하는 AI 체계)는 수천 개의 단기 샌드박스 스웜(여러 개의 독립된 가상 환경을 동시에 운용하는 방식)을 통해 공격을 전개했다. 기존의 공격자가 수동으로 취약점을 찾고 침투 경로를 설계했다면, AI 에이전트는 수만 번의 시도를 자동으로 반복하며 틈새를 찾아낸다. 이 과정에서 광범위하고 인내심 있는 다단계 캠페인을 수행하는 데 드는 인건비와 시간 비용이 획기적으로 낮아졌다. 공격자는 이제 적은 자본으로도 대규모 인프라를 대상으로 정교한 공격을 지속할 수 있게 되었다.

공격의 전개 속도는 이제 인간의 판단 속도가 아닌 기계 속도(machine speed)로 작동한다. 수만 건의 자동화된 행동이 짧은 시간 안에 쏟아지며 보안 팀이 이상 징후를 인지하고 대응하기 전에 이미 내부망 깊숙이 침투한다. 이번 공격에서도 AI 에이전트는 스스로 명령 제어 서버를 공공 서비스로 옮겨 다니며 탐지 시스템의 추적을 회피했다. 이는 보안 담당자가 로그를 수동으로 분석하고 차단 규칙을 적용하는 물리적 시간을 완전히 무력화하는 결과로 이어진다. 사람이 개입하는 보안 관제 체계로는 초 단위로 변하는 AI 에이전트의 공격 경로를 실시간으로 따라잡는 것이 불가능하다.

이제 데이터와 모델 표면을 1급 공격 표면(first-class attack surface, 시스템 침투의 핵심 경로가 되는 주요 지점)으로 취급해야 한다. 기존 보안의 중심이 네트워크 방화벽이나 서버 OS의 취약점이었다면, 이제는 AI 모델이 데이터를 읽어 들이는 파이프라인 자체가 공격자의 주 진입로가 되었다. 데이터셋 로더가 외부 코드를 실행하거나 설정 파일의 템플릿 주입 취약점을 악용하는 방식은 AI 플랫폼이 가진 고유한 약점이다. 데이터 처리 과정에서 발생하는 작은 허점이 곧바로 노드 수준의 권한 획득으로 이어지는 경로가 열린 셈이다.

방어자 역시 AI를 활용해 공격자의 속도에 대응하는 체계를 갖춰야만 실질적인 방어가 가능하다. 공격자가 AI로 공격 비용을 낮추고 속도를 올렸다면, 방어자는 AI로 탐지 비용을 낮추고 분석 속도를 높여야 한다. 수만 개의 로그 속에서 공격자의 의도를 빠르게 파악하고 대응하는 LLM 기반의 분석 체계가 필수적인 이유다. 단순히 보안 패치를 적용하는 수준을 넘어, 데이터 파이프라인 전체의 흐름을 실시간으로 감시하고 AI가 이상 징후를 즉시 분류하는 자동화된 방어선 구축이 시급하다.

한국 AI 실무자를 위한 보안 대응 판단 기준

정작 급한 상황에서 도구가 필요한 기능을 거부할 때만큼 답답한 일은 없다. 허깅페이스는 사고 분석 초기 단계에서 상용 AI API를 사용했으나, 공격 명령어나 익스플로잇 페이로드(취약점을 공격하는 코드 뭉치)가 포함된 로그를 제출하자 안전 가드레일에 의해 요청이 차단되었다. 가드레일은 요청자가 보안 담당자인지 실제 공격자인지 구분하지 못하고 일괄적으로 차단하는 특성이 있다. 보안을 위해 설계된 필터가 정작 사고 대응이라는 긴급한 실무에서는 분석을 가로막는 장애물이 된 사례다.

허깅페이스는 대안으로 자체 인프라에 오픈웨이트 모델(모델의 가중치 값이 공개되어 로컬 설치가 가능한 모델)인 GLM 5.2를 구축해 분석을 수행했다. 이 방식은 상용 API의 가드레일 락아웃을 완전히 회피하게 해주었으며, 분석가가 제약 없이 로그 데이터를 처리할 수 있게 했다. 동시에 공격자의 데이터나 유출된 자격 증명이 외부 서버로 전송되지 않고 내부 환경에 머물게 하는 보안 이점도 함께 얻었다. 자체 인프라에 검증된 모델을 보유하는 것은 단순한 효율성을 넘어 데이터 주권과 대응 속도를 결정짓는 실무적 핵심 요소다.

공격자는 이제 자율형 에이전트 프레임워크를 통해 기계 속도로 다단계 캠페인을 수행하며 공격 비용을 낮추고 있다. 이에 대응하는 실무자는 사고 대응(Incident Response, 침해 사고 발생 시 피해를 최소화하고 복구하는 과정) 시 가드레일에 막히지 않을 자체 모델 보유 여부를 최우선 판단 기준으로 삼아야 한다. 보안 정책 검토와 포렌식 분석을 위해 고성능 오픈웨이트 모델을 자체 인프라에 미리 구축하고, 실제 로그 데이터를 넣어 분석 성능을 사전에 검증하는 절차가 필수적이다. 방어 측면에서도 AI를 활용해 공격자의 속도에 대응하는 체계를 갖추는 것이 실질적인 방어 전략이다.

자체 인프라 모델을 준비할 때는 단순한 설치를 넘어, 실제 보안 로그의 특성을 이해하고 이를 분석할 수 있는 프롬프트와 워크플로를 미리 설계해야 한다. 상용 API의 편리함에 의존하다가 정작 위기 상황에서 분석 도구를 잃는 리스크를 방지하는 것이 목적이다. 데이터와 모델 표면을 1급 공격 표면(first-class attack surface, 최우선적으로 보호해야 할 공격 대상)으로 취급하고, 이에 맞는 자체 분석 역량을 확보하는 것이 한국 AI 실무자가 취해야 할 현실적인 대응 방향이다.

상용 API의 가드레일이 공격 로그를 위험 요청으로 오인해 분석을 차단하는 순간, 보안 대응의 골든타임은 사라진다. 허깅페이스 사례는 도구의 편의성보다 인프라의 통제권 확보가 실질적인 방어력임을 보여주었다. 가드레일 락아웃과 데이터 유출을 막으려면 GLM 5.2 같은 고성능 오픈웨이트 모델을 자체 인프라에 구축하는 선택지가 필수적이다. 결국 사고 대응의 속도는 외부의 허락 없이 데이터를 분석할 수 있는 자체 모델 보유 여부로 결정된다.