4비트 양자화 모델이 16비트 원본 성능을 역전한 벤치마크 결과

GPT-OSS 120B 모델을 60B 파라미터로 구조적 압축을 진행하고 MXFP4로 양자화한 결과, 9개 벤치마크 중 7개에서 원본 bfloat16 모델보다 높은 성능을 기록했다. 이는 모델 크기를 줄이면 정확도가 떨어진다는 기존의 상식을 뒤집고, 4비트 모델이 자신이 파생된 16비트 체크포인트보다 더 정확하고 실행 비용이 저렴해진 사례다. 특히 구조적 압축 시 손실이 가장 큰 영역에서 뚜렷한 개선이 나타났으며, 롱 컨텍스트 추론을 측정하는 AA-LCR에서는 7.4점, 수학 능력을 평가하는 AIME 2025에서는 5.6점이 상승했다.

성능 비교의 기준이 된 60B bfloat16 체크포인트와 비교했을 때, QAH 모델은 LiveCodeBench에서 66.5점을 기록하며 원본 120B 모델의 66.0점을 추월했다. GPQA Diamond 벤치마크에서는 67.4점을 기록해 원본 120B 모델의 69.0점과 1.6점 차이로 근접한 수치를 보였다. MMLU-Pro와 SciCode 두 항목에서만 원본보다 낮았으나 그 격차는 1.5점 미만으로 유지되었다. 결과적으로 QAH는 모델의 파라미터 수를 절반으로 줄이고 정밀도를 4비트로 낮추었음에도 불구하고, 특정 지표에서는 풀 사이즈 모델의 성능 천장을 상회하는 결과를 입증했다.

QAH의 핵심 메커니즘: 원본 모델로부터의 직접 증류

QAH는 압축 후 복구된 bfloat16 체크포인트가 아닌, 압축 전의 원본 모델로부터 직접 지식을 증류하여 성능 상한선을 제거했다. 기존의 QAD(Quantization-Aware Distillation) 방식은 구조적 압축을 거쳐 복구된 bfloat16 모델을 교사 모델로 사용했기에, 학생 모델의 성능이 이미 저하된 복구 체크포인트의 성능 천장에 갇히는 한계가 있었다. QAH는 이러한 중간 단계를 생략하고 전체 크기와 정밀도를 가진 원본 모델을 교사로 설정함으로써, 학생 모델이 복구 단계에서 놓친 정보를 직접 학습하도록 설계했다.

교사 모델은 풀 사이즈 고정밀도 모델이며, 학생 모델은 파라미터 수가 절반인 MXFP4 정밀도 모델로 구성된다. 두 모델은 레이어 수와 헤드 구성이 다른 아키텍처 불일치 상태지만, 로짓(Logits) 수준에서 KL-divergence loss를 통해 확률 분포를 맞추는 방식으로 지식을 전달한다. 교사의 출력 분포는 아키텍처에 구애받지 않으므로, 모델의 크기나 형태가 달라도 효율적인 전이가 가능하다. 이 과정을 통해 양자화 단계는 단순한 수치 변환 후처리가 아니라, 원본 교사 모델의 지식을 다시 추출하는 두 번째 증류 과정으로 재정의되었다.

32k 롱 컨텍스트 학습을 위한 메모리 효율적 손실 함수 구현

연구진은 32k 토큰의 롱 컨텍스트 힐링 코퍼스를 처리하기 위해 메모리 효율적인 chunked KL-divergence loss를 도입하여 GPU 메모리 예산을 준수했다. 일반적인 KL-divergence 계산은 전체 어휘 사전 크기와 시퀀스 길이를 곱한 거대한 그리드를 메모리에 한꺼번에 생성해야 하므로, 32k와 같은 긴 시퀀스에서는 GPU 메모리 한계를 초과하는 문제가 발생한다. chunked 방식은 시퀀스를 작은 슬라이스 단위로 나누어 순차적으로 계산함으로써, 전체 그리드를 물리적으로 생성하지 않고도 동일한 손실 값을 산출한다.

이 메커니즘을 통해 고정된 GPU 메모리 환경 내에서 32k 토큰 길이의 데이터를 처리하며 학습 효율을 극대화했다. 4비트 학생 모델은 이 과정을 통해 양자화로 인해 손실된 정보를 보충하는 수준을 넘어, 이전 복구 단계에서 시간이나 데이터 부족으로 전달되지 못한 정보를 원본 교사 모델로부터 직접 흡수했다. 결과적으로 메모리 제약이 심한 환경에서도 롱 컨텍스트 추론 능력을 효과적으로 복구하고 강화할 수 있는 기술적 토대를 마련했다.

QAT 대비 7배 빠른 수렴 속도와 학습 후반부의 안정성 비교

GPT-OSS 9B 모델을 MXFP4로 양자화하여 검증한 결과, QAH는 약 100단계 만에 피크 성능 54.9에 도달하며 QAT(Quantization-Aware Training)의 700단계보다 약 7배 빠른 수렴 속도를 기록했다. 두 방식이 도달하는 최고 성능 수치는 각각 54.9와 54.6으로 사실상 비슷했으나, 최적 상태에 이르는 시간과 연산 자원 소모량에서 큰 격차가 발생했다. 이는 학습 초기 단계에서 QAH가 훨씬 빠르게 교사 모델의 분포를 학습함을 의미한다.

학습 후반부의 안정성에서도 QAH는 QAT와 상반된 궤적을 보였다. QAT는 피크 성능을 지난 후 학습을 지속할 경우 성능이 급격히 하락하는 붕괴 현상이 관찰되었으며, 1,200단계에 이르면 성능이 약 19점가량 급락했다. 반면 QAH는 피크 도달 이후 학습을 계속하더라도 성능 편차가 2점 이내로 일정하게 유지되었다. 이러한 차이는 QAT가 정답 레이블을 향해 무한히 밀어붙이는 교차 엔트로피 손실을 사용하는 반면, QAH는 고정된 교사 모델의 분포에 결속되는 KL 증류 방식을 사용하기 때문에 발생한다.

실무자를 위한 모델 경량화 전략: QAH와 QAT의 선택 기준

실무자는 모델 배포 시 조기 종료(Early Stopping) 설정의 리스크를 피하고 안정적인 4비트 모델을 확보하기 위해 QAH 방식을 선택해야 한다. QAT를 도입할 경우, 성능 붕괴가 시작되는 지점을 포착하기 위해 검증 데이터셋을 지속적으로 모니터링하고 정밀하게 학습을 중단시켜야 하는 운영 부담이 발생한다. 반면 QAH는 학생 모델이 교사 모델의 분포를 충분히 따라잡으면 더 이상 가중치가 표류하지 않으므로, 충분히 학습된 체크포인트를 별도의 정밀한 중단 시점 설정 없이도 안전하게 서빙할 수 있다.

구현 관점에서 QAT는 순전파 과정에 가짜 양자화 연산자를 삽입하여 SFT, RLHF, 에이전트 튜닝과 같은 고비용의 다단계 사후 훈련 과정을 저정밀도 환경에서 다시 수행해야 하므로 연산 비용이 매우 높다. QAH는 고정된 교사 모델의 로짓을 오프라인으로 미리 계산하여 사용할 수 있어 학습 리소스를 획기적으로 줄일 수 있다. 따라서 학습 데이터와 시간이 제한적이고 배포 안정성이 최우선인 환경이라면, QAT 대신 QAH의 직접 증류 전략을 채택하는 것이 가장 효율적인 선택이다.