SFT 후 수학 성능 70%에서 6%로 급락하는 '추론 억제' 현상

Vanilla SFT를 수행하면 베이스 모델이 보유한 수학 성능이 70%에서 평균 6%로 급락한다. 이 수치는 특정 도메인의 성능을 높이기 위해 데이터를 학습시킨 실무자가 기존의 범용 추론 능력을 완전히 잃게 되는 선택의 위험성을 보여준다. 타겟 태스크의 정확도를 올리려는 시도가 모델의 기초 지능을 훼손하는 결과로 이어진다.

추론 모드(Reasoning mode)를 활성화한 상태에서 학습을 진행해도 결과는 마찬가지다. 학습 데이터셋이 중간 추론 단계 없이 입력과 출력 쌍으로만 구성되어 있다면 모델은 추론 능력을 상실한다. 실험 결과 추론 모드를 켜고 학습과 추론을 일관되게 유지했을 때 타겟 성능은 유의미하게 향상되었으나 정작 모델이 스스로 생각하는 능력은 사라지는 모순이 발생했다. 이는 학습 설정의 일관성보다 데이터의 내용이 추론 능력 유지에 더 결정적인 영향을 미친다는 사실을 보여준다.

이런 현상이 발생하는 원인은 학습 목적 함수인 손실 함수가 추론 토큰과 출력 토큰을 함께 계산하기 때문이다. 학습 데이터에 중간 추론 단계가 포함되지 않으면 모델은 일관된 추론 흔적을 생성하도록 유도하는 감독 신호를 전혀 받지 못한다. 결과적으로 손실 함수는 최종 출력에 직접적으로 기여하지 않는 모든 추론 토큰을 페널티로 처리한다. 모델은 손실 값을 낮추기 위해 내부의 추론 메커니즘을 아예 우회하여 정답으로 바로 건너뛰는 방식을 택한다.

이는 모델이 견고한 추론 패턴을 학습하는 대신 데이터 내의 가짜 상관관계에 의존하는 지름길 학습(Shortcut learning)의 전형적인 모습이다. 추론 능력이 억제되면 수학적 사고력뿐만 아니라 코딩이나 복잡한 논리 구조를 풀어내는 문제 해결 능력이 동시에 저하된다. 실무자는 단순히 정답 쌍만으로 구성된 데이터셋으로 SFT를 진행할 때 모델의 추론 엔진이 꺼질 수 있다는 점을 핵심 판단 기준으로 삼아야 한다. 추론 흔적이 없는 데이터는 모델에게 생각하지 말고 정답만 맞히라고 강요하는 것과 같다.

별도 데이터 없이 추론력을 보존하는 SDR(Self-Distilled

고품질의 CoT(Chain-of-Thought, 단계별 추론 과정) 흔적을 학습 데이터로 직접 구축하는 작업은 비용이 매우 높고 실무적으로 불가능에 가깝다. 모든 학습 샘플에 대해 논리적인 추론 단계를 전문가가 일일이 작성해야 하므로 데이터셋의 규모를 확장하는 데 한계가 명확하기 때문이다. SDR(Self-Distilled Reasoning, 자기 증류 추론)은 이러한 제약을 해결하기 위해 외부의 도움이나 인간의 레이블링 없이 베이스 Amazon Nova 2 Lite 모델이 이미 보유한 추론 능력을 그대로 활용한다. 추론 단계가 없는 단순 입력-출력 쌍의 데이터셋을 사용할 때, 모델 스스로 생성한 추론 흔적을 대체제로 재사용하여 학습 데이터의 질을 높이는 방식이다.

SDR의 구체적인 작동 방식은 모델 자신의 추론 흔적을 기존 데이터셋에 증강하여 학습 중 정규화(In-training regularization)를 수행하는 것이다. 여기서 정규화는 모델이 정답만을 빠르게 출력하는 단순 암기 방식에 빠지지 않고, 논리적인 사고 과정을 유지하도록 제어하는 장치로 작동한다. 학습 과정에서 모델이 스스로 도출한 생각의 경로를 다시 학습 데이터로 투입함으로써 추론 메커니즘이 파괴되는 것을 물리적으로 방지한다. 이는 정답지를 제공하는 별도의 교사 모델(Teacher model)을 준비하거나 고성능 모델의 출력을 복제해야 하는 기존의 지식 증류 방식과는 완전히 다른 구조다.

이 기법은 학습이 끝난 뒤에 모델 가중치를 다시 섞는 사후 보간(Post-hoc interpolation) 과정이 전혀 필요 없다. 인간이 직접 데이터를 검수하고 정답을 다는 레이블링 작업이 배제되므로 데이터 준비 단계에서 발생하는 시간과 비용의 병목 현상이 사라진다. 특히 도메인의 성격과 관계없이 기존에 보유하고 있던 SFT(Supervised Fine-Tuning, 지도 미세 조정) 데이터셋에 즉시 적용할 수 있다는 점이 실무적인 강점이다. 수학이나 코딩 같은 고난도 추론 영역뿐 아니라 일반적인 비즈니스 도메인에서도 베이스 모델의 추론 성능을 보존하며 특화 학습을 진행할 수 있는 가장 효율적인 경로를 제공한다.

모델 병합(Merging) 대비 타겟 성능 6.5% 추가 향상

SDR은 모델 병합 방식보다 타겟 도메인 성능을 평균 6.5% 이상 더 높게 확보했다. 모델 병합은 SFT(Supervised Fine-Tuning, 지도 미세 조정)를 거친 체크포인트를 다시 베이스 모델과 합쳐서 잃어버린 일반 성능을 회복하는 방식이다. 실무에서 흔히 쓰이는 이 방법은 가중치를 산술적으로 섞어 일반적인 추론 능력을 되살릴 수는 있지만, SFT 단계에서 얻은 타겟 성능이 함께 깎이는 트레이드오프가 발생한다. 타겟 성능을 높이려면 SFT 체크포인트의 가중치 비중을 높여야 하고, 일반 성능을 높이려면 베이스 모델의 비중을 높여야 하는 구조적 한계가 있기 때문이다.

이러한 성능 저하의 핵심 원인은 치명적 망각(Catastrophic forgetting)에 있다. 특정 도메인 데이터셋으로 모델을 강하게 학습시키면, 모델이 기존에 가지고 있던 광범위한 지식이 완전히 사라지는 현상이 나타난다. 모델 병합은 이를 완화하기 위해 사용되는 일반적인 해결책이지만, 결국 타겟 성능과 일반 성능 사이에서 적절한 타협점을 찾는 수준에 그친다. SFT 체크포인트의 가중치를 베이스 모델과 섞는 과정에서 타겟 도메인에 특화되어 최적화된 가중치 정보가 희석되어 사라지기 때문에 정교한 도메인 성능을 유지하며 배포하기 어렵다.

Amazon Nova 2 Lite 모델을 활용한 5종의 벤치마크 환경에서 SDR은 모델 병합보다 효율적인 성능 유지 능력을 입증했다. 수학 성능의 경우 SDR은 70%를 기록했고 모델 병합은 68%를 기록하며 서로 유사한 수준의 일반 성능을 유지하는 데 성공했다. 하지만 정작 중요한 타겟 성능에서는 SDR이 모델 병합 대비 평균 6.5% 이상의 추가 향상을 이뤄냈다. 이는 일반 성능을 회복하는 과정에서 타겟 성능을 희생시키지 않고도 두 성능을 동시에 확보할 수 있음을 수치로 증명한 결과다.

SDR은 모델 병합처럼 학습이 끝난 뒤에 수행하는 사후 보간(Post-hoc interpolation) 과정 없이도 치명적 망각을 억제한다. 모델 병합이 단순히 두 상태의 가중치 중간 지점을 찾는 산술적인 방식이라면, SDR은 학습 과정 자체에서 정규화를 수행해 베이스 모델의 능력을 보존하는 방식이다. 타겟 도메인의 전문성을 최대한 끌어올리면서도 기초 체력인 수학이나 코딩 능력을 유지해야 하는 실무 환경에서는 모델 병합보다 SDR이 훨씬 강력한 도구가 된다. 이는 자기 증류(Self-distillation)가 치명적 망각을 막는 효과적인 메커니즘이라는 최근 연구 방향과도 궤를 같이 한다.

5종 벤치마크로 검증한 SDR의 실무 적용 효

ToolACE 벤치마크는 10,000개의 샘플을 투입해 도구 호출(Tool-calling, 모델이 외부 함수를 실행하도록 명령하는 기능)의 정확도와 인자 값 추론 능력을 검증했다. 사용자 쿼리와 사용 가능한 도구 정의가 주어졌을 때 함수 이름과 모든 인자 값이 정답과 완전히 일치해야 하는 엄격한 성공률(Strict success rate)을 기준으로 점수를 매겼다. 약 2,000토큰의 짧은 문맥 환경에서 수행되었으며, 정밀한 구조화 출력 능력이 필수적이다. 이는 모델이 단순히 자연스러운 문장을 생성하는 것을 넘어, API 명세에 맞게 정확한 데이터 타입을 추론해 전달하는 실무적 제어 능력을 확인한 결과다.

CoCoHD는 730개의 샘플을 활용해 35,000자에서 85,000자 길이에 달하는 미 의회 청문회 기록에서 JSON 구조를 추출하는 능력을 평가했다. 제목, 회의실, 위원회, 참석자, 날짜 등 총 10개의 메타데이터 필드를 정확하게 추출해 JSON 형식으로 출력해야 한다. 예측된 JSON과 정답 JSON 사이의 키와 값 중복도를 측정해 성과를 산출했다. 수만 자에 이르는 매우 긴 문서를 파싱하고 정해진 스키마에 맞게 구조화된 출력을 생성하는 고난도 작업에서 SDR의 성능 향상을 확인했다. 이는 긴 문맥에서도 정보 손실 없이 특정 필드를 정확히 짚어내어 자동화 파이프라인에 즉시 투입 가능한 수준의 데이터를 생성함을 의미한다.

GovReport 벤치마크는 17,000개의 샘플을 통해 35,000자에서 85,000자 길이의 미국 정부 보고서(GAO, CRS)를 요약하는 능력을 검증했다. 입력된 방대한 분량의 보고서를 250자에서 450자 사이의 간결한 평문 요약문으로 생성하며, ROUGE-L(정답 문장과 생성 문장 간의 가장 긴 공통 부분 시퀀스 중복도) 지표로 평가했다. 밀도 높은 정책 문서를 사실 중심의 서술형 문장으로 합성하는 추상적 요약 능력을 측정했다. 긴 문맥을 처리하면서도 핵심 정보를 누락하지 않고 요약하는 결과가 도출되었으며, 이는 대규모 문서 처리 워크플로에서 SDR이 실무적인 효용을 가짐을 보여준다.

Invoice-OCR은 500개의 샘플을 사용해 스캔된 송장 이미지에서 구조화된 필드를 추출하는 능력을 ANLS(Average Normalized Levenshtein Similarity, 텍스트 유사도 기반의 정규화된 거리 측정 지표)로 측정했다. CaptionGen은 1,800개의 샘플을 통해 비디오 클립의 상황을 상세히 묘사하는 캡션 생성 능력을 평가했다. 텍스트 데이터뿐 아니라 이미지와 비디오라는 멀티모달 입력 환경에서도 SDR이 타겟 태스크의 성능을 높였다. Amazon Nova 2 Lite 모델을 기반으로 한 5종의 벤치마크 환경에서 추론 능력 보존과 성능 향상이 동시에 달성됨을 입증했다. 결과적으로 다양한 데이터 형식과 길이의 태스크에서 일관된 성능 개선이 확인되었다.

한국 AI 실무자를 위한 SFT 전략: CoT 데이터 확보의 현실적 대안

SFT(Supervised Fine-Tuning, 지도 미세 조정)로 성능을 극대화하려면 데이터셋에 골든 CoT(Golden CoT, 정제된 생각의 사슬) 흔적이 반드시 포함되어야 한다. 이는 성능이 뛰어난 교사 모델이 생성한 사고 과정을 사람이 일일이 검증하고 불필요한 내용을 제거해 정제한 데이터를 말한다. 하지만 한국의 일반적인 실무 환경에서 이러한 고품질 데이터를 대량으로 구축하는 것은 전문 인력의 검수 비용과 시간 측면에서 매우 비현실적이다. 결국 많은 팀이 정답만 포함된 데이터셋으로 학습을 진행하며, 이 과정에서 모델이 가진 기본 추론 능력이 파괴되는 치명적 망각 문제를 마주한다. 정답만으로 학습된 모델은 복잡한 논리 구조를 생략하게 되어 결국 수학이나 코딩 같은 고차원적 문제 해결 능력을 잃게 된다.

타겟 도메인의 특화 성능과 수학이나 코딩 같은 일반 지능을 모두 잡아야 하는 상황이라면 모델 병합보다 SDR(Self-Distilled Reasoning, 자가 증류 추론)을 우선적으로 고려해야 한다. Amazon Nova 2 Lite 모델을 기반으로 한 벤치마크 결과, 모델 병합 방식은 수학 성능을 68%까지 회복시키지만 SFT로 확보한 타겟 성능이 함께 낮아지는 트레이드오프가 발생한다. 반면 SDR은 수학 성능을 70% 수준으로 유지하면서 타겟 성능을 평균 6.5% 추가로 향상시킨다. 이는 일반 성능의 급격한 하락을 막으면서도 도메인 특화 성능을 동시에 극대화할 수 있는 실질적인 경로가 된다. 비용이 많이 드는 외부 교사 모델 없이도 베이스 모델의 지능을 재활용해 성능을 보존하는 방식이다.

실무 적용 워크플로는 데이터 준비, SDR 적용 SFT, 추론 모드 활성화 검증 순으로 구성한다. 우선 기존의 비추론 데이터셋에 베이스 모델인 Amazon Nova 2 Lite가 스스로 생성한 추론 흔적을 대체제로 증강하여 학습 데이터를 준비한다. 이후 SFT를 수행하고, 최종 단계에서 추론 모드를 활성화해 모델이 논리적 단계를 거쳐 정답에 도달하는지 검증한다. 이때 가장 주의할 점은 추론 모드 학습 시 반드시 추론 토큰에 대한 감독 신호가 포함되어야 한다는 사실이다. SDR과 같은 신호 없이 단순한 입력-출력 쌍만으로 학습하면, 모델은 추론 과정을 생략하고 정답만 맞추려는 지름길 학습에 빠져 결국 복잡한 문제 해결 능력을 상실한다. 추론 토큰에 대한 명확한 감독 신호가 있어야만 모델이 사고 과정을 유지하며 학습할 수 있다.

타겟 도메인 특화와 기본 지능 유지가 동시에 필요한 환경이라면, 모델 병합 대신 SDR을 적용해 수학 성능 70%와 타겟 성능 6.5% 추가 확보를 노리는 것이 가장 효율적인 판단 기준이다.