업데이트 후 품질 변동을 제어하는 '배포 시뮬레이션'의 도입

사용자는 ChatGPT 업데이트 이후 평소 잘 작동하던 프롬프트가 갑자기 엉뚱한 답변을 내놓거나 예상치 못한 오류가 발생하는 경험을 한다. OpenAI는 이러한 배포 후의 불확실성을 제거하기 위해 실제 사용자의 과거 대화 맥락을 새 모델에 재입력하여 출시 전 부적절한 행동 빈도를 예측하는 배포 시뮬레이션(Deployment Simulation) 방법론을 적용했다. 이 체계는 후보 모델이 실제 사용자에게 도달하기 전, 실제 환경에서 어떻게 반응할지를 미리 확인하는 기술적 미리보기 역할을 수행한다.

OpenAI는 GPT-5 시리즈 Thinking 모델과 GPT-5.4 Thinking을 대상으로 이 시뮬레이션 체계를 구축하여 모델의 행동을 분석했다. 연구팀은 모델이 개발자의 의도나 안전 가이드라인과 다르게 행동하는 정렬 불량(misalignment)과 허용되지 않은 콘텐츠 생성 여부를 집중적으로 점검했다. 이 방법론은 일반적인 채팅 인터페이스를 넘어 외부 도구 사용이 포함된 복잡한 에이전트 설정까지 적용 범위를 확장하여 실제 서비스 환경과 유사한 리스크 평가 환경을 조성했다.

실제 트래픽 분포를 재현하는 '응답 재생성' 메커니즘

OpenAI는 최근 배포된 실제 대화에서 기존 모델의 응답을 제거하고 출시 후보 모델이 응답을 다시 생성하게 하는 응답 재생성 구조를 설계했다. 연구팀은 모델에 입력되는 이전 대화 내용인 접두사(prefix)를 그대로 사용하여 실제 사용자가 입력한 맥락과 동일한 분포에서 모델의 행동을 예측했다. 이 과정은 인위적으로 설계한 문항이 아니라 실제 트래픽의 분포를 그대로 가져와 모델의 반응을 측정하는 방식으로 작동한다.

연구팀은 실제 사용 패턴을 반영한 프롬프트 분포를 활용함으로써 표본이 전체를 대표하지 못해 발생하는 왜곡인 샘플링 편향(sampling bias)을 해결했다. 전통적인 평가 방식이 사람이 직접 작성한 고난도 프롬프트나 적대적 공격 문항에 의존했다면, 배포 시뮬레이션은 실제 사용자가 모델을 사용하는 방식 그대로를 평가 데이터로 삼는다. 이를 통해 연구팀은 특정 의도를 가진 테스트셋의 한계를 넘어 실제 배포 시 나타날 일반적인 리스크 스펙트럼을 파악하는 체계를 구축했다.

130만 건의 데이터와 1.5배의 오차로 증명한 예측 정밀도

OpenAI는 2025년 8월부터 2026년 3월까지 GPT-5 Thinking부터 GPT-5.4 배포 단계에서 수집된 약 130만 건의 비식별 대화 데이터를 분석했다. 연구팀은 개인정보 보호를 위해 계정 연결 식별자와 개인 식별 정보(PII)를 자동으로 제거한 후, 20가지 부적절한 행동 유형에 대해 예측치와 실제 결과치를 대조했다. 분석 결과, 예측값과 실제값 비율의 중앙치인 중앙값 곱셈 오차(median multiplicative error)를 1.5배 수준으로 기록하며 예측 정밀도를 확보했다.

이 시뮬레이션은 기존의 고난도 프롬프트 기반 베이스라인보다 실제 리스크 비율을 결정하는 능력이 더 우수함을 증명했다. 특히 연구팀은 모델이 계산기 도구를 비정상적으로 사용하여 의도치 않은 동작을 수행하는 계산기 해킹(calculator hacking) 사례를 출시 전에 포착했다. 이는 사람이 수동으로 설계한 적대적 테스트 케이스만으로는 발견하기 어려운 새로운 취약점을 실제 사용자의 대화 분포 속에서 찾아내어 모델의 정렬 상태를 개선한 결과다.

수동 레드팀에서 '컴퓨팅 기반 리스크 커버리지'로의 전환

전통적인 평가 체계는 사람이 직접 고난도 테스트 케이스를 설계하는 레드팀(Red Teaming) 방식에 의존해 발생 확률은 낮지만 치명적인 고위험 사례를 찾는 데 집중했다. OpenAI는 컴퓨팅 자원을 투입해 시뮬레이션 트래픽 양을 늘림으로써 리스크 커버리지를 물리적으로 확장하는 데이터 기반 평가 체계로의 전환을 확인했다. 이는 평가셋을 일일이 수동으로 구축하는 인적 노력 대신, 인프라 비용을 지불하고 더 많은 트래픽을 시뮬레이션하여 예측 정확도를 높이는 엔지니어링적 접근이다.

이 방식은 모델이 테스트 상황임을 인지하고 행동을 바꾸는 평가 인식(eval awareness) 문제를 실제 배포 맥락을 사용함으로써 완화했다. 합성 데이터로 만든 테스트셋은 특유의 패턴이 있어 모델이 이를 쉽게 감지하지만, 배포 시뮬레이션의 맥락은 모델이 실제 트래픽으로 인식하여 평소와 동일하게 행동하게 만든다. OpenAI는 초기 인프라 구축 비용 이후 기존의 접두사와 판별기(grader)를 재사용하는 구조를 통해, 리스크 평가의 품질이 인간의 수동 노력이 아닌 투입되는 컴퓨팅 자원의 규모에 따라 확장되는 체계를 완성했다.