NVIDIA Nemotron과 팔란티어가 구축한 미국 정부 전용 보안 AI

많은 기업과 기관이 챗GPT 같은 클라우드 AI의 성능을 원하면서도 내부 기밀이나 보안 데이터가 외부 서버로 전송되어 유출될 가능성 때문에 도입을 망설인다. 질문을 입력하는 순간 데이터가 외부망을 타고 이동하는 구조는 보안 규정이 엄격한 조직에게 치명적인 리스크가 된다. 팔란티어는 이러한 보안 우려를 해결하기 위해 NVIDIA Nemotron 오픈 모델을 외부망과 완전히 격리된 에어갭 환경에 배포하는 시스템을 구축했다. 에어갭(air-gapped)은 외부 네트워크와 물리적으로 완전히 분리하여 데이터가 밖으로 나갈 수 있는 모든 경로를 차단한 보안 환경을 의미한다.

이 시스템의 적용 대상은 약 300만 명의 민간 공무원이 근무하는 미국 정부 기관이다. 이번 AI 엔진은 상거래, 에너지, 의료, 농업, 교육, 교통 등 광범위한 행정 분야에 도입된다. 특히 식품 안전 관리나 주간 고속도로 인프라 유지보수처럼 복잡한 운영 과제를 해결하여 행정 효율을 높인다. NVIDIA 가속 컴퓨팅 인프라는 대규모 공공 서비스의 데이터를 빠르게 처리하고 분석하는 연산 기반이 된다.

폐쇄망 환경에서 NVIDIA Nemotron 오픈 모델을 선택한 이유는 모델의 투명성과 제어 권한을 확보하기 위해서다. 오픈 모델(open models)은 내부 구조를 직접 확인하고 수정할 수 있어, 보안이 극도로 중요한 국가 안보 및 민감 환경에 적합하다. 팔란티어는 도메인 최적화 하네스(domain-optimized harnesses, 특정 분야에 맞게 모델 성능을 끌어올리는 설정)와 NVIDIA의 하드웨어 가속 기술을 결합해 외부망 연결 없이도 프론티어급 성능을 내는 AI 엔진을 구현했다. 이를 통해 정부 기관은 데이터 유출 위험 없이 자체 인프라 내에서 AI를 구동하며 데이터 주권을 유지하는 체계를 구축했다.

AIP부터 Apollo까지, 에어갭 환경을 구현하는 소버린 AI 스택

팔란티어는 미국 정부의 민감한 데이터를 처리하기 위해 AIP, Ontology, Foundry, Apollo로 구성된 소버린 AI 운영체제를 구축했다. 이 스택은 운영 및 데이터 권한 부여 레이어를 통해 정보 접근 권한을 세밀하게 제어한다. 아키텍처 기반의 격리 방식을 적용해 데이터 유출 경로를 물리적으로 차단하며, 모든 운영 과정의 이력을 추적해 기록한다.

여기에 NVIDIA AI Enterprise(엔터프라이즈급 AI 배포 소프트웨어 제품군)를 결합하여 대규모 환경에서도 안정적인 배포와 운영이 가능하도록 지원한다. 인프라부터 모델의 핵심 설정까지 완전히 통제하는 방식으로 시스템을 구현했다.

운영 단계에서 발생하는 실제 데이터와 피드백은 모델 성능을 지속적으로 끌어올리는 데이터 플라이휠(Data Flywheel, 데이터 수집과 모델 개선이 반복되며 성능이 상승하는 구조)을 구현한다. 사용자는 외부망과 완전히 분리된 환경 내에서 새로운 데이터를 수집하고 이를 다시 모델에 학습시켜 최적화하는 과정을 반복한다. 이 과정에서 발생하는 모든 학습 데이터와 개선된 모델, 상세한 감사 기록은 고객의 통제 범위 내에 머문다. 폐쇄망이라는 제약 속에서도 데이터의 선순환을 통해 모델의 실무 적응력을 높이는 체계다. 이러한 소버린 AI 스택의 핵심은 폐쇄형 모델이 아닌 오픈 모델을 채택했다는 점에 있다.

오픈 모델이 폐쇄형 모델보다 규제 산업에 유리한 이유

오픈 모델은 독립적인 리뷰를 통해 모델 내부의 취약점이나 편향성, 혹은 개발사가 의도하지 않은 동작을 식별할 수 있는 투명성을 제공한다. 단일 조직이 내부 검토만으로는 놓칠 수 있는 결함을 외부 연구자들이 다각도로 찾아내고, 이를 바탕으로 모델을 정교하게 수정하는 과정이 가능하다. 이러한 가시성은 모델의 안전성을 실질적으로 개선하며, 보안이 최우선인 국가 안보나 산업 현장에서 모델의 신뢰성을 확보하는 수단이 된다.

특정 목적에 맞게 모델의 가중치를 조정하는 미세 조정(fine-tuning, 사전 학습된 모델을 특정 데이터셋으로 추가 학습시켜 성능을 최적화하는 과정) 능력은 규제 산업에서 폐쇄형 모델과 구분되는 결정적인 이점이 된다. 기업과 정부 기관은 자신의 구체적인 유즈케이스에 맞춰 오픈 모델을 직접 수정하고 최적화하여 배포할 수 있다. 특히 데이터 보안과 개인정보 보호법이 엄격한 금융 산업에서는 외부 서버로 데이터를 전송해야 하는 폐쇄형 모델이 법규를 위반할 위험이 크다. 반면 오픈 모델은 자체 인프라 내에서 완전히 통제된 상태로 운용하므로 법적 준수 사항을 지키면서도 고성능 AI 기능을 구현할 수 있다.

운영 비용의 효율성은 AI 기술이 실제 경제적 이득으로 이어지게 하는 동력이 된다. 현재 기업의 약 2/3가 오픈 모델을 도입해 사용하고 있으며, 실제 운영 과정에서 비용 효율성을 보고하고 있다. 클라우드 기반의 폐쇄형 모델은 API 호출 횟수나 토큰 사용량에 따라 비용이 증가하는 구조지만, 오픈 모델은 자체 인프라 최적화를 통해 예측 가능한 비용 구조를 설계할 수 있다. 많은 조직은 이러한 비용 절감을 서비스 규모를 확장하는 스케일업 과정의 핵심 경제적 판단 기준으로 활용한다.

모델 가중치 소유권이 한국 AI 실무자에게 주는 의미

팔란티어는 NVIDIA Nemotron 오픈 모델을 통해 모델 가중치(Weights, 모델이 학습을 통해 습득한 지식이 저장된 수치)의 완전한 소유권을 사용자에게 부여한다. 이는 외부 서버에 데이터를 보내지 않고도 모델의 핵심 지능을 직접 보유하는 방식이다. 기업은 이를 통해 운영 지식이 인코딩된 모델을 외부 유출 없이 내부 자산으로 전환한다.

금융이나 공공기관의 실무자는 민감 환경(Sensitive environments, 보안 수준이 높아 외부 접근이 엄격히 제한된 구역) 내에서 독립적인 배포 체계를 구축한다. 모델 가중치를 직접 소유하면 외부 제공업체의 업데이트나 정책 변경에 영향을 받지 않고 모델을 제어한다. 내부 데이터로 미세 조정한 결과물이 외부로 나가지 않으므로 기밀 유출 위험이 사라진다. 인프라 설계 단계에서 모델 소유권을 확보하는 것은 데이터 통제권을 완전히 확보하는 방식이다.

국가나 기업 단위의 AI 주권은 클라우드 의존도를 낮추는 지점에서 시작된다. 폐쇄망 환경에서 오픈 모델을 운용하면 외부 네트워크 연결 없이도 AI 서비스를 지속적으로 개선할 수 있다. 내부에서 발생하는 새로운 데이터와 피드백을 모델에 다시 학습시켜 성능을 높이는 체계를 갖춘다. 이는 특정 글로벌 기업의 서비스 중단이나 가격 인상 같은 외부 변수로부터 독립적인 운영 환경을 만드는 기준이 된다.

한국의 공공 및 금융 AI 인프라는 법적 규제와 보안 요구사항이 매우 엄격하다. 모델 가중치를 직접 소유하는 구조는 데이터 보안법과 개인정보 보호법을 준수하면서도 최신 AI 기능을 도입할 수 있는 현실적인 대안이다. 자체 인프라에서 모델을 직접 관리하며 취약점을 점검하고 성능을 최적화하는 과정이 가능해진다. 모델 소유권 확보는 폐쇄적 환경에서도 AI 성능을 지속적으로 높일 수 있는 핵심 요소다.

클라우드 AI의 편리함과 데이터 보안 사이의 갈등은 인프라의 격리 수준으로 해결된다. 팔란티어가 NVIDIA Nemotron을 통해 구현한 에어갭 환경은 모델의 성능을 유지하면서도 데이터 유출 경로를 물리적으로 차단하는 실질적인 구현 기준을 제시한다. AIP와 Apollo 같은 소버린 AI 운영체제가 NVIDIA AI Enterprise와 결합할 때 비로소 폐쇄망 내에서의 모델 커스텀이 가능해진다. 결국 소버린 AI의 완성도는 외부망 연결 없이 모델 가중치를 직접 소유하고 제어할 수 있는 인프라 구축 역량에서 결정된다.