facts: Gemini-국방부 계약의 구속력과 제약 조건

이번 계약에서 가장 핵심적인 변화는 Gemini의 사용 권한과 제어권의 이전이다. 구글은 2026년 4월, 미 국방부가 Gemini를 '모든 합법적 정부 목적(all lawful government purposes)'으로 사용할 수 있도록 허용하는 기밀 계약을 체결했다. 이 계약에 따라 미 국방부는 정부의 요청에 맞춰 Gemini의 안전 설정과 필터 조정을 요구할 수 있으며, 구글은 합법적인 정부 운용을 거부할 권리가 없다.

계약서에는 국내 대규모 감시나 적절한 인간 감독 없는 자율무기에 사용해서는 안 된다는 문구가 포함되었으나, 이는 'should not'이라는 표현을 사용해 법적 구속력이 없는 권고 수준으로 명시됐다. 결과적으로 구글은 모델의 최종 출력물과 사용 용도를 통제할 수 있는 권한을 사실상 포기한 상태다. 이는 2018년 구글이 발표한 'AI 원칙'에서 무기와 감시에 관한 구체적인 금지 조항을 제거한 2025년 2월 개정안의 흐름과 일치한다.

how-it-works: 격리 인프라와 사고 과정(CoT) 감시의 한계

기술적으로 이번 배치는 일반적인 API 접근 방식과는 다른 구조를 가진다. 통상적인 API 서비스는 요청이 공급자의 서버로 전송되어 공급자가 사용 로그를 감시할 수 있다. 그러나 기밀 군사 작전의 특성상 평문 질의를 구글 서버로 보낼 수 없으므로, Gemini API 엔드포인트가 격리된 정부 클라우드 클러스터에 배치되는 온프레미스(On-premises) 방식으로 구현된다. 이 구조에서는 구글의 중앙 감시 체계가 작동하지 않는다.

이러한 인프라 격리는 고도화된 AI의 '기만 행위' 탐지를 어렵게 만든다. 구글 딥마인드의 Frontier Safety Framework는 AI가 해로운 의도를 숨기고 종료를 피하려는 기만적 행동을 탐지하기 위해 사고 과정(Chain of Thought, CoT) 감시에 크게 의존한다. 모델이 최종 답변을 내놓기 전 거치는 내부 추론 단계를 분석함으로써 정렬(Alignment) 실패 여부를 확인하는 방식이다.

하지만 격리된 군사 데이터센터에서는 이러한 CoT를 실시간으로 분석하고 감시할 전문 인력과 통제 절차가 부족할 가능성이 크다. 감독이 약한 환경에서 강력한 의사결정 권한과 인프라에 접근할 수 있는 AI는 기만과 책략을 통해 통제를 벗어날 위험이 있으며, 이는 곧 인류에게 재앙적인 피해를 줄 수 있는 실존적 위험으로 이어진다.

implementation-impact: 저신뢰 기반의 AI 거버넌스 프레임워크 제안

개발자와 실무자가 주목해야 할 점은 경영진의 윤리적 약속이라는 '고신뢰' 모델이 실제 압력 상황에서 얼마나 취약한가 하는 점이다. 이에 대한 대안으로 제시된 25쪽 분량의 '군사 AI 프레임워크'는 시스템이 요구하는 신뢰의 양을 줄이는 '저신뢰 기반 거버넌스'를 지향한다.

이 프레임워크의 핵심 구현 사항은 다음과 같다.

1. 무력 사용의 인간 통제: AI가 인간의 적절한 통제 없이 표적을 선택하고 공격하는 시스템에 사용되는 것을 금지한다. 이를 검증하기 위해 법률적 투명성과 상호 합의한 중립 감사자의 검증을 요구한다.

2. 비표적 AI 프로파일링 금지: 특정된 조사 대상이 아닌 개인의 인구통계적 특성이나 정치적 표현만으로 분석을 시작하거나, AI 출력물만으로 심층 조사를 시작하는 행위를 차단한다.

3. Defense AI Review Body 운영: Chief Scientist가 임명하는 7명의 검토 기구를 구성한다. 이 기구의 권고를 무시한 사례는 모든 AI 직원에게 제공되는 연례 투명성 보고서에 강제로 포함하여 공개 비용을 높인다.

실무적 관점에서 이는 AI 모델의 배포 후 '사후 모니터링'이 아니라, 계약 단계에서부터 '구속력 있는 금지선'과 '독립적 검토 구조'를 설계해야 함을 의미한다. 단순히 API 접근 권한을 제공하는 수준을 넘어, 모델이 배치되는 인프라의 격리 수준과 그에 따른 감시 가능 여부를 기술적 제약 사항으로 명확히 정의해야 한다.