인간 레드팀의 한계를 넘는 자동화 모델, GPT-Red

사람이 직접 모델의 약점을 찾아내는 레드팀(Red-teaming) 방식은 모델이 커질수록 그 효율성이 급격히 떨어진다. 레드팀이란 AI 모델의 취약점을 발견하기 위해 보안 전문가가 고의로 악의적인 공격을 시도하며 방어 체계를 점검하는 과정을 의미한다. 기존의 인간 중심 레드팀 방식은 공격 시나리오를 설계하고 실행하는 데 막대한 시간이 소요되며, 모델의 안전성을 담보할 만큼 충분히 다양하고 방대한 공격 데이터를 생성하는 데 한계가 존재한다. 이러한 확장성 문제를 해결하기 위해 OpenAI는 자동화된 레드팀 모델인 GPT-Red를 도입했다.

GPT-Red는 모델 스스로 취약점을 찾아내고 이를 학습 과정에 반영하여 미래 모델의 안전성을 높이는 내부 전용 모델이다. 이 모델은 OpenAI가 수행하는 대규모 사후 학습(Post-training) 수준의 컴퓨팅 자원을 투입하여 훈련되었다. 기존의 인간 레드팀이 가진 시간적 한계를 극복하고, 배포 전 단계에서 모델의 보안 수준을 체계적으로 높이기 위한 자동화된 안전 장치를 확보한 것이다. 실제로 GPT-Red는 모델의 취약점을 찾아내고 이를 학습에 활용함으로써, 결과적으로 GPT-5.6 Sol 모델이 이전 모델 대비 프롬프트 인젝션(사용자의 입력을 통해 모델의 지시사항을 무력화하는 공격) 실패율을 6배 감소시키는 성과를 거두었다.

이 모델은 단순히 정해진 공격을 반복하는 수준을 넘어, 인간 레드팀과 유사하게 공격 목표를 설정하고 프롬프트를 보낸 뒤 모델의 반응을 관찰하며 반복적으로 공격을 정교화한다. OpenAI는 GPT-Red를 실제 배포되는 모델과 완전히 분리하여 관리함으로써, 모델에 내재된 강력한 공격 능력이 외부의 악의적인 행위자에게 유출되지 않도록 철저히 통제하고 있다. 결과적으로 GPT-Red는 인간 레드팀이 수행하기 어려운 대량의 공격 시나리오를 생성하고, 이를 모델 학습 과정에 직접 통합함으로써 보안의 자동화와 고도화를 동시에 달성하는 핵심 기제로 작동한다.

셀프 플레이 강화학습을 통한 공격과 방어의 순환

모델이 스스로를 공격하며 강해진다는 개념은 다소 역설적으로 들릴 수 있으나, 이는 인공지능의 보안성을 비약적으로 높이는 핵심 기제가 되었다. GPT-Red는 공격자 모델과 방어자 역할을 수행하는 다수의 거대언어모델(LLM, 대규모 데이터로 학습된 인공지능 모델)을 동시에 훈련하는 셀프 플레이 강화학습(Self-play Reinforcement Learning, 모델이 스스로 대국하며 실력을 높이는 학습 방식) 구조를 채택했다. 이 과정에서 공격자 모델인 GPT-Red는 프롬프트 인젝션(사용자 입력에 악의적인 명령을 포함해 모델을 속이는 행위)에 성공할 때마다 보상을 받으며 공격 능력을 고도화한다. 반대로 방어자 모델들은 공격을 성공적으로 차단하고 본래의 과업을 완수할 때 보상을 얻어 보안 수준을 높인다. 방어 모델이 견고해질수록 공격 모델인 GPT-Red는 이를 돌파하기 위해 더 정교하고 다양한 공격 방식을 스스로 찾아내도록 강제된다.

GPT-Red의 공격 범위는 실제 환경에서 발생할 수 있는 거의 모든 경로를 포괄한다. 이 모델은 이메일 본문, 웹페이지 배너, 로컬 파일, 혹은 도구 출력값 등 외부 데이터가 모델로 유입되는 다양한 환경에서 프롬프트 인젝션을 시도하도록 설계되었다. 이러한 훈련을 마친 GPT-Red는 GPT-5.5를 포함한 내부 및 상용 모델 대부분을 무력화할 수 있는 강력한 성능을 확보했다. 다만, GPT-Red는 일반적인 배포 모델과 완전히 분리된 환경에서 관리된다. 이는 모델이 학습한 악의적인 공격 역량이 외부 공격자에게 유출되는 것을 원천적으로 차단하면서도, 그 공격 데이터를 생산 모델의 안전성을 높이는 학습 재료로만 활용하기 위한 통제 조치다.

이러한 구조적 분리는 모델의 배포 전 보안 수준을 체계적으로 높이는 안전 장치로 작동한다. GPT-Red가 생성한 방대한 공격 데이터는 차기 모델인 GPT-5.6의 훈련 과정에 직접 반영된다. 결과적으로 GPT-5.6은 이전 모델들이 취약했던 공격 패턴을 사전에 학습하여 방어력을 갖추게 되었다. 인간 레드팀(보안 취약점을 찾기 위해 고의로 공격을 시도하는 전문가 그룹)이 가진 시간적 한계를 넘어, 모델 스스로가 취약점을 지속적으로 발견하고 보완하는 자동화된 보안 루프를 구축한 셈이다.

프롬프트 인젝션 방어력 6배 향상과 실무적 의미

빠른 선택이 꼭 좋은 선택은 아니다. 모델의 보안성을 높이기 위해 인간이 일일이 공격 경로를 설계하는 방식은 시간적 한계로 인해 새로운 취약점을 적시에 찾아내는 데 어려움이 있다. OpenAI가 개발한 자동 레드팀 모델인 GPT-Red는 이러한 인간의 물리적 한계를 극복하기 위해 설계되었다. 이 모델은 공격자와 방어자가 서로를 속이고 막아내는 셀프 플레이 강화학습(Self-play Reinforcement Learning) 구조를 통해 훈련되었으며, 이를 통해 모델 스스로가 취약점을 찾아내고 학습 과정에 반영하는 자동화된 안전 장치를 확보했다.

GPT-Red를 활용한 훈련은 실제 서비스 모델의 보안 수준을 비약적으로 끌어올렸다. 최신 모델인 GPT-5.6 Sol은 이전 모델과 비교했을 때 가장 까다로운 직접 프롬프트 인젝션(사용자가 모델의 지시를 무시하고 악의적인 명령을 주입하는 공격) 벤치마크에서 실패율이 6배 감소하는 성과를 거두었다. 이는 단순히 내부 테스트에 그치지 않고, Dziemian et al. (2025)의 간접 프롬프트 인젝션 아레나 테스트에서도 증명되었다. 해당 테스트에서 GPT-Red는 84%의 공격 성공률을 기록하며 13%에 그친 인간 레드팀의 성과를 크게 앞질렀다.

실무 환경에서의 공격 능력 또한 구체적으로 검증되었다. OpenAI는 실제 사무실 내에 배치된 AI 자판기(Project Vend)를 대상으로 한 모의 테스트를 진행했다. GPT-Red는 시스템에 대한 제한된 정보만을 제공받은 상태에서도 에이전트의 도구 호출을 관찰하며 실제 환경과 유사한 공격 시나리오를 수행했다. 이러한 결과는 모델이 배포되기 전, 내부 전용 모델을 통해 다양한 공격 경로를 사전에 차단하는 것이 실질적인 보안 강화로 이어짐을 보여준다.

향후 OpenAI는 GPT-Red를 단독으로 운영하는 대신 인간 레드팀의 통찰, 제3자 평가, 그리고 실시간 모니터링 체계와 결합하는 다층적 안전 장치를 구축할 계획이다. 배포 모델과 완전히 분리된 환경에서 관리되는 GPT-Red는 악의적인 외부 공격자에게 유출될 위험을 차단하면서도, 생산 모델에는 더 높은 수준의 견고함을 심어주는 역할을 수행한다. 이처럼 자동화된 레드팀 모델을 통한 안전성 확보는 향후 대규모 언어 모델이 실무 환경에 깊숙이 침투할 때 필수적인 보안 표준으로 자리 잡을 것으로 보인다.

인간의 직관에 의존하던 보안 검증이 모델 스스로의 공격과 방어를 반복하는 자동화된 루프로 전환되면서, 프롬프트 인젝션 방어는 이제 사후 대응이 아닌 모델 설계 단계의 필수 공정이 되었다. 모델이 복잡해질수록 사람이 모든 취약점을 찾아내는 것은 불가능에 가깝기에, 이제는 보안 수준을 측정하는 척도로서 자동화된 레드팀 모델의 도입 여부를 우선적으로 확인해야 한다.