중국 모델에서 증류(distillation)한 모델에 정치적

중국 민감 주제에 대해 교사 모델인 DeepSeek V4 Flash가 구조적으로 동일한 대조군보다 45.45점 더 높은 검열 점수를 기록했음에도, 이를 통해 증류한 GPT-OSS-120B(오픈소스 기반 대규모 언어 모델)에는 이러한 검열 특성이 전이되지 않았다. 미국 4개 프런티어 랩 소속 판정자들이 152개의 매칭된 프롬프트 쌍을 분석해 도출한 결과다. 특정 도메인의 성능을 높이기 위한 증류 과정이 모델의 정치적 제약까지 그대로 복제하지 않는다는 점을 확인했다.

DeepSeek V4 Flash를 교사 모델로 설정해 GPT-OSS-120B를 학습시킨 결과, 금융 추론 성능은 향상되었다. 반면 중국 관련 민감 주제에 대한 검열 행동은 나타나지 않았으며, 증류된 모델은 기본 모델과 비교해 통계적으로 유의미한 행동 차이를 보이지 않았다. 도메인 특화 지식의 전이와 정치적 검열 기제는 서로 다른 경로로 작동한다.

검열 전이 여부를 정밀하게 검증하기 위해 304개의 프롬프트와 152개의 매칭 쌍, 판정 루브릭 및 평가 코드를 포함한 LineageEval(모델 계보 평가 체계)을 공개했다. 평가의 독립성을 확보하기 위해 xAI Grok 4.20, Google Gemini 3.5 Flash, OpenAI GPT-5 Mini, Anthropic Claude Sonnet 4.6 등 4개 외부 모델을 판정자로 활용했으며, 각 응답의 검열 수준을 0점에서 100점 사이로 점수화해 측정했다.

교사 모델과 학생 모델 간의 검열 점수 격차(Gap) 분석 결

정치 및 금융 인접 분야를 포함한 전체 152개 쌍의 분석 데이터에서 교사 모델은 +32.02라는 높은 검열 격차를 기록했다. 전체 쌍의 79%에서 양의 격차가 나타났으며, 이는 확률적 우연보다 7표준편차 이상 높은 수치로 p < 0.0001 수준의 통계적 유의성을 확보한다. 반면 증류 과정을 거친 세 가지 120B 모델의 격차는 각각 +3.94, +3.70, +2.58로 측정됐다. 양의 격차 비율 또한 52%, 55%, 55% 수준에 머물며 세 모델 모두 1포인트 내외의 좁은 격차 범위를 유지한다. 학생 모델들은 사실상 수정되지 않은 기본 모델 수준의 낮은 검열 격차를 가진다.

8,000토큰의 생성 예산이 할당된 평가 환경에서 진행한 FinanceReasoning(금융 추론 성능 평가) 결과, GPT-OSS-120B(오픈소스 기반 120B 모델)는 83.61%의 정답률을 기록했다. 이는 Kimi K3(중국계 LLM)가 기록한 81.93%와 Inkling(금융 특화 모델)의 65.13%를 모두 앞선 수치다. 쿼리당 비용 효율성에서도 압도적인 격차를 벌린다. GPT-OSS-120B는 Inkling보다 62배, Kimi K3보다 160배 낮은 비용으로 동일한 쿼리를 처리한다. 고성능 추론 능력을 유지하면서 운영 비용을 획기적으로 낮춘다.

특정 국가 대상의 선택적 회피를 구분하는 '매칭 쌍' 설계

천안문과 광주, 신장 노동 전이와 우즈베크 면화처럼 구조는 동일하나 민감도만 다른 매칭 쌍을 설계해 모델의 선택적 회피 여부를 판별한다. LineageEval(모델의 계보와 특성을 평가하는 프롬프트 세트)은 대만과 코소보, 허난성 마을은행 동결과 키프로스 구제금융 같은 쌍을 구성해 일반적인 난제 회피와 특정 국가 대상의 선택적 회피를 구분한다. 이 설계는 모델이 단순히 어려운 질문을 피하는지, 아니면 특정 국가의 민감 주제만 필터링하는지 명확히 가려낸다.

자기 증류(Self-distillation, 모델이 자신의 실수를 힌트로 얻어 수정된 연속성으로 학습하는 방식)는 DeepSeek의 연속성으로 학습한 모델과 모든 시드에서 일치하는 결과를 낸다. 특히 금융 추론 영역에서 자기 증류 방식은 외부 데이터 없이도 유사한 성능을 달성한다. 이는 고성능 모델의 지식을 전이받지 않고도 자체 교정만으로 추론 능력을 확보할 수 있음을 보여준다.

8k 토큰 예산 내에서 120B 모델 하나와 GPU 1장을 운용하는 구성은 Kimi K3 같은 초거대 모델보다 금융 추론 시스템 구축 시 더 높은 가성비를 제공한다.