Astra의 사이버 능력 확인과 RL 학습의 전략적 중단

차세대 모델 Astra가 준비성 프레임워크(Preparedness Framework)의 '치명적 사이버 보안 능력' 임계치를 충족할 가능성이 내부 평가에서 확인되었다. 개발팀은 모델의 성능 향상 속도가 보안 표준을 앞지르는 위험을 방지하기 위해 배포 예정 모델의 강화학습(RL) 훈련을 2주간 일시 중단했다. 특히 최대 규모로 계획되었던 프론티어 RL 런(Run)은 현재 보류 상태이며, 대신 소규모 훈련과 평가를 통해 모델 행동을 분석하고 안전장치를 검증하는 단계에 집중하고 있다. 연구진은 모델이 인간의 의도대로 행동하고 감독에 반응한다는 정렬(Alignment)의 구체적인 증거를 확보한 뒤에만 대규모 학습을 재개한다는 방침을 세웠다.

보안 표준을 충족하기 위한 조치는 8월 7일 Astra의 치명적 사이버 능력이 판정된 시점부터 더욱 강화되었다. 기존에는 Sol 수준 이상의 능력을 가진 모델이 도구를 사용하는 RL 훈련과 평가 단계에서만 모니터링이 필수였으나, Astra는 실제 추론 과정에서 도구를 사용할 때도 반드시 모니터링을 거쳐야 하는 대상으로 분류되었다. 이는 모델이 보유한 사이버 능력이 실제 환경에서 예기치 않게 작동하거나 오용될 가능성을 차단하기 위해, 훈련 시의 제약 사항을 실제 서비스 추론 단계까지 확장하여 적용한 결과다. 개발팀은 연구 환경을 더욱 견고하게 만들고 레드팀 활동을 통해 잠재적 취약점을 점검하는 시간을 확보함으로써 보안 표준이 모델의 성능 향상 속도보다 항상 앞서도록 유지하는 체계를 구축하고 있다.

활성화 분류기 기반의 다단계 모니터링 체계

새로운 모니터링 시스템은 모델의 내부 활동을 실시간으로 감시하는 다단계 구조로 설계되었다. 1단계인 활성화 분류기(Activation Classifier)는 모델이 생성하는 모든 샘플링 토큰 단위로 내부 뉴런의 활동 패턴을 검사하여 이상 징후를 탐지한다. 분류기가 위험 패턴을 포착하면, 해당 신호는 더 정교하고 높은 컴퓨팅 자원을 사용하는 자동 조사 시스템(Automated Investigators)으로 에스컬레이션된다. 자동 조사 시스템은 모델이 수행한 도구 실행 내역, 내부 추론 과정, 그리고 전체 활동 시퀀스를 종합적으로 분석하여 무단 접근이나 데이터 탈취, 파괴적 행동, 또는 안전장치를 무력화하려는 시도가 있는지 검토한다.

이 체계는 단순히 최종 출력값의 위험성을 판단하는 것이 아니라, 모델이 어떤 논리적 단계를 거쳐 해당 명령을 내렸는지에 대한 행위 맥락을 확인하는 데 목적이 있다. 특히 내부 코딩 에이전트나 장시간 실행 세션과 같이 위험도가 높은 워크로드에 우선적으로 적용된다. 모델이 외부 도구를 사용하거나 민감한 시스템에 접근하려는 특정한 내부 상태에 진입하면, 시스템은 이를 즉각적인 보안 위협으로 규정하고 대응 절차를 가동한다. 이러한 다단계 모니터링은 프론티어 모델이 고도화됨에 따라 발생할 수 있는 내부 개발 및 테스트 과정의 위험을 제어하는 핵심 방어선 역할을 수행한다.

이상 징후 발견 후 30분 내 판단 및 중단 운영 기준

모니터링 시스템은 이상 활동이 표면화된 시점부터 보안 팀에 알림을 발행하기까지의 시간을 30분 이내로 설정하는 것을 목표로 한다. 치명적인 보안 경계 위반 가능성이 감지되면 시스템은 최우선 순위 알림을 생성하며, 즉시 안전(Safety), 보안(Security), 연구(Research) 팀의 담당자들에게 페이지(Page) 알림을 전송한다. 알림을 받은 팀은 해당 징후가 정상적인 활동을 오류로 판정한 오탐(False Positive)인지, 아니면 실제 공격 시도인지를 신속하게 판별해야 한다.

운영 기준에 따라 보안 팀이 알림 발생 후 30분 이내에 해당 징후가 오탐이라는 확정적인 결론을 내리지 못할 경우, 해당 모델의 모든 활동을 즉시 강제 중단시킨다. 이는 보안 위협의 불확실성이 남아 있는 상태에서 모델의 자율적인 도구 사용을 계속 허용하기보다, 선제적인 차단을 통해 잠재적 피해를 완전히 막겠다는 원칙을 적용한 것이다. 이러한 엄격한 시간 제한과 중단 프로세스는 고성능 모델이 가질 수 있는 사이버 공격 능력이 연구 인프라나 외부 네트워크로 확산되는 것을 방지하는 실질적인 통제 장치로 작동한다.

연구 클러스터의 제약과 엔지니어링 비용의 발생

연구진은 OpenAI-Hugging Face 사건 직후, 코드 실행이나 인터넷 접근 도구를 사용할 수 있는 프론티어 모델의 추론 작업을 연구 클러스터 내에서 일시 중단했다. 이후 외부망과 격리되거나 엄격히 통제된 제한적 코드 실행 경로를 새롭게 구축하여 보안 체계를 재정비했다. 모든 연구 작업은 일괄 권한 부여 방식에서 벗어나, 각 워크로드의 목적과 위험도를 개별적으로 심사하여 안전성이 확인된 경우에만 재개하는 승인제로 전환되었다. 특히 Astra 및 사이버 모델 관련 워크로드에는 최상위 수준의 보안 세이프가드를 적용하여 무단 접근을 원천 차단하고 있다.

이러한 보안 표준을 충족하기 위한 엔지니어링 작업은 프론티어 연구 과정에서 상당한 비용 발생과 일정 지연을 야기했다. 모델의 능력이 고도화될수록 이를 제어하기 위한 안전장치 설계와 구현에 투입되는 공수가 기하급수적으로 늘어났으며, 이는 순수하게 모델의 지능을 높이는 연구 시간보다 보안 검증을 위한 엔지니어링 시간이 더 많이 소요되는 구조로 변했음을 의미한다. 새로운 보안 기준을 충족하지 못한 다수의 Astra 관련 워크로드는 마이그레이션이 완료될 때까지 중단 상태를 유지하고 있으며, 연구진은 안전 및 정렬 관련 워크로드를 새로운 보안 환경으로 우선 이전하여 검증하고 있다.

정렬 기술의 확장과 추론 컴퓨팅 오버헤드

정렬(Alignment) 연구는 모델이 보상 체계의 맹점을 찾아 편법으로 점수를 얻는 보상 해킹(Reward Hacking), 기만 행위, 무단 접근 등의 위험을 방지하는 데 집중하고 있다. 개발팀은 보상 모델을 개선하여 다양한 작업과 환경에서 안전하지 않은 행동을 더 정확하게 탐지하고 억제하며, 모델이 자신의 행동과 능력, 한계에 대해 더 정직하게 답하도록 하는 정직성 훈련을 강화했다. 이러한 정렬 기술은 학습 후반부의 미세 조정 단계뿐만 아니라 훈련 전 단계까지 확장 적용되어, 모델이 외부 API를 호출하거나 인터넷에 접근할 때 발생할 수 있는 위해 가능성을 최소화한다.

이러한 고도화된 모니터링과 보안 체계는 상당한 컴퓨팅 자원을 요구한다. 현재 추정치에 따르면, 모니터링 시스템 운영으로 인해 추론 컴퓨팅 자원의 약 20%가 오버헤드로 소모되며, 이 비용은 훈련 및 평가 워크로드에 따라 상당한 차이를 보인다. 결과적으로 고성능 모델의 사이버 능력을 안전하게 제어하기 위해서는 추론 컴퓨팅의 약 20%를 보안 오버헤드로 할당하고, 이상 징후 발견 후 30분 이내에 판단 및 중단 여부를 결정하는 엄격한 운영 기준을 수립하는 것이 필수적이다.