17,000건의 공격 분석을 가능케 한 '오픈 모델'의 실효성

폐쇄형 AI 도구가 공격자와 방어자를 구분하지 못해 필수 포렌식 분석을 차단하는 상황이 발생했다. 허깅페이스(Hugging Face) 보안 사고 당시 겪은 이 제약은 보안 대응팀이 분석 도구를 선택하는 기준을 바꿨다. 시스템 내부 구조가 공개되지 않은 폐쇄형 모델은 특정 분석 행동을 공격으로 오인해 방어자의 정당한 접근까지 막는 병목을 만들었다. 분석 도구가 방어자의 활동을 공격으로 간주해 차단하면, 침입 경로를 파악해야 하는 포렌식 단계에서 대응 속도가 늦어진다.

허깅페이스는 이 문제를 해결하기 위해 외부 API가 아닌 자체 인프라에서 오픈 웨이트(Open-weight) 모델인 GLM 5.2를 구동했다. 이를 통해 17,000건 이상의 행동을 직접 분석하고 침입을 억제했다. 모델을 직접 호스팅하여 통제권을 가졌기에 분석 도구가 방어 활동을 차단하는 간섭 없이 포렌식 작업을 완수할 수 있었다. 이는 폐쇄형 시스템의 불투명성이 보안 대응의 병목이 될 때, 오픈 모델이 즉각적인 방어 수단이 됨을 입증했다.

이러한 실효성을 바탕으로 엔비디아(NVIDIA), 마이크로소프트(Microsoft), 네이버(NAVER), SK텔레콤(SK Telecom), 허깅페이스, IBM, 레드햇(Red Hat), 스페이스XAI(SpaceXAI)를 비롯해 어도비, 시스코, 팰런티어, 세일즈포스, SAP, 델 테크놀로지스, 클라우드플레어, 크라우드스트라이크 등이 참여하는 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)가 결성되었다. 이 연합은 리눅스 재단의 아크리테스(Akrites) 이니셔티브와 오픈SSF(OpenSSF) 커뮤니티의 성과를 기반으로 운영된다. 참여 기업들은 클라우드 컴퓨팅, 사이버 보안, 엔터프라이즈 소프트웨어 분야의 전문성을 결합해 오픈 기술로 취약점을 수정하고 이를 투명하게 공개하는 협력 체계를 구축한다.

연합의 핵심 미션은 방어자가 완전히 신뢰하고 통제할 수 있는 오픈 프론티어(Open Frontier) 도구와 기술을 확보하는 것이다. AI 시대의 소프트웨어와 에이전트를 보호하기 위해 오픈 모델, 모델 가중치, 데이터, 그리고 새로운 에이전트 하네스(Harness) 연구 결과를 공유한다. 방어자가 모델의 내부 동작을 이해하고 필요에 따라 수정하거나 배포할 수 있을 때, 공격자의 변화에 맞춘 신속한 보안 대응이 가능해진다. 이는 보안 도구를 단순한 제품이 아니라 방어자가 직접 제어 가능한 자산으로 확보하려는 전략이다.

가중치를 넘어 '전체 에이전트 스택'으로 확장하는 보안 도구

AI 안전성은 모델 가중치 하나가 아니라 신원(Identity), 권한(Permissions), 하네스(Harnesses), 가드레일(Guardrails), 로그(Logs), 평가(Evaluation)로 구성된 전체 에이전트 스택의 보안으로 결정된다. 신원은 에이전트가 누구인지 확인하는 단계고 권한은 허용된 작업 범위를 정하는 것이다. 하네스는 모델을 감싸 실행 환경을 제어하는 틀이며 가드레일은 부적절한 출력을 막는 제약 조건이다. 로그는 모든 활동 기록을 남기고 평가는 결과의 안전성을 검증하는 과정이다. 모델의 뇌에 해당하는 가중치만 공개하거나 폐쇄하는 것보다 이 전체 시스템의 통제권을 확보하는 것이 실질적인 방어 능력을 결정한다.

NVIDIA는 에이전트 행동의 테스트와 추적, 감사, 거버넌스를 지원하는 NOOA(NVIDIA Labs Object-Oriented Agent) 프로젝트를 GitHub에 공개했다. NOOA는 하네스가 모델과 더 긴밀하게 통합되어 에이전트가 내리는 결정의 경로를 추적하고 감사하는 기능을 제공한다. Hugging Face는 원격 코드 실행 위험을 차단하기 위해 모델 가중치를 안전하게 저장하는 포맷인 Safetensors를 PyTorch 재단에 제공했다. 기존 포맷이 모델을 불러올 때 임의의 코드를 실행할 수 있었던 취약점을 저장 방식의 변경으로 해결했다. HPE는 암호학적으로 AI 에이전트와 서비스의 신원을 검증하는 제로 트러스트 신원 프레임워크인 SPIFFE/SPIRE에 기여했다. 인가된 워크로드만 기업 리소스에 접근하게 만들어 신원 도용으로 인한 내부망 침투를 막는 구조다.

IBM과 Red Hat은 디지털 서명 패치를 통해 오픈소스 공급망 보안을 확장하는 Lightwell을 제공한다. 소프트웨어 배포 과정에서 변조 여부를 확인해 공급망 공격을 방어하는 도구다. Microsoft는 특화된 여러 AI 에이전트를 조율해 취약점 버그를 발견하고 이를 증명하는 멀티 모델 스캐닝 하네스 MDASH를 제공한다. MDASH는 복잡한 코드베이스 내에서 엣지 케이스의 취약점을 자동으로 탐색하며, 여러 모델이 협력해 보안 약점을 찾는 방식이다. SpaceXAI는 터미널 기반 AI 코딩 에이전트인 Grok Build를 오픈소스화하고 Grok 모델 라인업의 가중치를 공개할 계획이다. 개발 환경의 최전선인 터미널에서부터 보안 도구를 직접 수정하고 적용할 수 있는 환경을 구축하려는 시도다.

폐쇄형 모델의 '비밀주의' vs 오픈 모델의 '검증 가능성'

폐쇄형 모델은 가중치(Weights)를 공개하지 않아 내부 구조를 알 수 없는 불투명한 시스템으로 운영된다. 방어자는 모델의 내부 동작을 연구하거나 특정 보안 취약점을 수정하기 위해 가중치를 직접 조정할 수 없다. 배포 과정에서도 제공자가 정한 API 제약 내에서만 작동하므로 기업의 특수한 보안 환경에 맞는 세밀한 최적화가 불가능하다. 특히 사고 발생 시 모델 내부에서 어떤 논리로 잘못된 판단을 내렸는지 추적하는 포렌식 분석에 한계가 있다. 내부를 볼 수 없는 구조는 방어자가 시스템을 검증하고 통제하는 능력을 제한하는 제약으로 작용한다.

오픈 모델은 가중치를 공개하므로 가드레일(Guardrails)을 임의로 제거할 수 있다는 리스크가 존재한다. 공격자가 모델을 수정해 사이버 공격 전용 도구로 전용하거나 악의적인 목적으로 튜닝하는 사례가 실제로 발생한다. 하지만 이러한 위험은 폐쇄형 시스템이라고 해서 사라지지 않는다. 공격자는 폐쇄형 모델의 API 입출력 패턴을 분석해 취약점을 찾아내고 이를 악용한다. 가중치를 닫아두는 비밀주의는 오히려 방어자가 취약점을 미리 발견할 기회를 늦춘다.

오픈 모델의 리스크를 관리하려면 다층적인 안전장치를 결합하는 전략이 필요하다. 악용 방지를 위한 엄격한 규칙을 세우고 지속적인 평가를 수행하며 발견된 취약점을 즉시 수정하는 리메디에이션(Remediation) 체계를 오픈 모델과 결합하는 방식이다. 이는 모델 자체를 숨기는 것보다 공개된 상태에서 끊임없이 검증하고 개선하는 것이 더 안전하다는 전략이다. 투명한 구조 덕분에 전 세계 보안 전문가 공동체가 함께 취약점을 찾고 빠르게 패치를 배포하는 집단 지성의 속도를 확보할 수 있다.

실무적인 방어 전략의 핵심은 프론티어 폐쇄형 모델과 오픈형 모델을 동시에 운용하는 하이브리드 선택지다. 작업의 성격에 따라 높은 범용성과 관리 편의성이 필요할 때는 폐쇄형 모델을 선택하고, 투명한 검증과 주권적 통제가 필수적인 핵심 보안 영역에서는 오픈 모델을 선택한다. 두 시스템을 상호 보완적으로 배치하면 특정 제공자에 대한 의존도를 낮추면서도 각 작업에 최적화된 보안 수준을 유지할 수 있다. 결국 보안의 완성도는 내부 정보를 얼마나 숨겼느냐가 아니라 시스템이 외부의 정밀한 조사를 견딜 수 있을 만큼 강건하게 설계되었는가에 달려 있다.

단일 실패 지점(Single Point of Failure)을 제거하는 분산

멀티 벤더 생태계를 구축하면 특정 제공자에 대한 의존도를 낮춰 단일 실패 지점(Single Point of Failure)을 제거할 수 있다. 이를 위해 데이터셋, 평가 프레임워크, 공격 시뮬레이터, 레드팀 도구 같은 공유 오픈 인프라에 투자해야 한다. 실무자가 특정 벤더의 폐쇄형 API에만 의존하면 벤더의 정책 변경이나 서비스 장애, API 응답 지연 발생 시 방어 체계 전체가 마비된다. 반면 공용화된 인프라를 갖추면 여러 모델과 도구를 교차 검증하며 최적의 방어 경로를 선택할 수 있다. 특히 공격 시뮬레이터를 공용화하면 최신 공격 기법을 빠르게 반영해 모든 방어자가 동시에 대응 능력을 키울 수 있으며, 방어자가 자신의 환경에 맞춰 도구를 수정하고 즉시 배포하는 실질적인 통제권을 갖게 한다.

정책적 관점에서도 오픈 모델과 보안 툴링을 부채(Liability)가 아닌 방어 자산(Defensive Assets)으로 정의한다. 오픈 프론티어 AI 시스템에 대해 일괄적인 제한을 가하는 규제는 공격자의 도구 확보는 막지 못하면서 방어자의 대응 수단만 뺏는 결과를 초래한다. 이러한 제한은 소수의 폐쇄형 제공자에게 의존도를 집중시키며, 특정 벤더의 보안 결함이 곧 전체 산업의 취약점이 되는 구조를 만든다. 방어자가 모델의 내부 구조를 직접 연구하고 수정할 수 있는 권한을 가질 때, 벤더의 업데이트를 기다리지 않고 즉각적인 패치를 적용하는 능동적 방어가 가능하다. 이는 보안 사고 발생 시 벤더의 분석 보고서를 기다리는 수동적 태도에서 벗어나, 자체적으로 포렌식을 수행하고 취약점을 증명하는 워크플로로 전환됨을 뜻한다.

NAVER와 SKT의 참여가 한국 AI 소버린 보안에 주는 의미

NAVER와 SK Telecom은 Open Secure AI Alliance의 창립 파트너로 참여해 글로벌 AI 보안 표준 수립 과정에 합류했다. 이는 표준을 만드는 설계 단계부터 한국 기업의 요구사항을 반영할 수 있는 위치를 확보한 것이다. 글로벌 보안 스택의 표준이 정해진 뒤에 이를 도입하는 방식은 벤더의 제약 조건에 맞춘 최적화 과정을 거쳐야 하지만, 표준 수립 단계의 참여는 한국의 인프라 환경과 호환되는 보안 도구가 기본 사양으로 포함될 가능성을 높인다.

국내 실무자는 NOOA나 Safetensors 같은 오픈 보안 도구를 자체 인프라에 직접 배포해 사용할 수 있다. 외부 API 기반의 폐쇄형 모델을 사용할 때는 보안 사고가 발생해도 벤더가 제공하는 제한적인 로그에만 의존해야 하며 모델 내부의 구체적인 동작을 직접 분석할 수 없다. 하지만 오픈 보안 스택을 도입하면 에이전트의 신원 확인부터 권한 부여, 실행 로그 기록까지 모든 거버넌스 체계를 기업 내부 서버에서 직접 구축하고 통제한다. 이는 보안 사고 발생 시 외부 기업의 협조를 기다리지 않고도 즉각적인 포렌식 분석과 증거 확보가 가능하다는 실무적 이점을 제공한다.

소버린 AI 보안의 실질적인 구현은 외부 API 의존도를 낮추고 국내 법적 규제나 기업 내부 정책에 최적화된 맞춤형 보안 컨트롤(Localized Controls)을 적용하는 과정이다. 글로벌 벤더가 제공하는 범용 가드레일은 한국어의 특수성이나 국내 산업군만의 세밀한 보안 요구사항을 모두 충족하기 어렵다. 오픈 표준 기반의 보안 도구를 활용하면 특정 비즈니스 도메인에 특화된 필터링 규칙을 직접 설계하고 모델 가중치 저장 방식부터 전송 경로까지 보안 설정을 세밀하게 조정할 수 있다. 이는 외부 클라우드 사업자의 업데이트 주기나 정책 변경에 휘둘리지 않고 기업이 정의한 위험 수준에 따라 즉각적으로 대응 체계를 수정하고 배포하는 환경을 만든다.

결국 AI 보안의 성패는 보안 사고 발생 시 외부 벤더의 제약이나 승인 절차 없이 즉각적으로 시스템을 분석하고 수정할 수 있는 소버린 보안 통제권을 확보했는가라는 단 하나의 기준으로 결정된다.