발표에서 확인된 핵심 사실

Qwen3.6-27B 모델의 10만 토큰 문맥 실험에서 어텐션 백엔드 변경만으로 후반부 토큰 선택이 달라졌다. 로컬 LLM의 체감 성능은 모델 가중치뿐 아니라 GPU 명령어, CUDA 커널, 어텐션 백엔드, 양자화 방식, KV 캐시(Key-Value Cache, 추론 시 이전 토큰 정보를 저장하는 메모리) 정밀도를 포함한 전체 추론 스택의 결과다. 초기 단계에서 발생하는 미세한 수치 차이는 처음에는 눈에 띄지 않는다. 하지만 생성 과정이 길어질수록 이 차이가 누적되어 다른 토큰을 선택하게 만들고, 결과적으로 출력 경로 전체를 바꾼다.

KL Divergence(KLD, 두 확률분포의 차이를 측정하는 지표) 수치만으로는 모델의 실제 지능이나 품질을 완전히 판단하기 어렵다. 낮은 KLD 수치가 더 높은 지능과 직결되지 않는다. 기준 체크포인트, 런타임, 평가 데이터, 문맥 길이, 측정 위치, KL 방향과 집계 방식이 모두 고려되어야 한다. 이러한 요소가 누락된 양자화 모델 카드의 KLD 수치는 모델 간 객관적 비교가 불가능하다. 특히 짧은 프롬프트나 temperature 0(무작위성을 제거한 설정) 기반의 테스트는 장시간 수행되는 에이전트 작업의 실제 품질을 충분히 대표하지 못한다.

기술이 실제로 작동하는 방식

10만 토큰 수준의 실제 에이전트 작업 문맥을 처리하는 환경에서 어텐션 백엔드 구현 방식의 차이는 최종 토큰 선택의 변동을 야기한다. Qwen3.6-27B 모델을 활용해 FlashAttention 2(메모리 효율을 높인 어텐션 가속 라이브러리), Flash Inference(추론 최적화 엔진), Triton Attention(GPU 프로그래밍 언어 기반 구현체)의 성능을 비교했다. 분석 결과 처리 초기 단계에서는 세 방식이 거의 동일한 결과를 냈으나 문맥의 후반부로 갈수록 최상위 토큰 선택이 달라졌다. 이러한 차이는 문맥 길이에 따라 일정하게 커지는 것이 아니라 특정 내용 구간에 몰려 나타나는 특성을 보였다.

NVFP4와 AWQ W4A16 양자화 방식은 실제 도구 호출과 Cisco 명령 생성 과정에서 오류를 발생시켰다. 양자화(모델 가중치의 정밀도를 낮춰 연산량을 줄이는 기술) 방식에 따라 기준 모델인 BF16(16비트 부동소수점)과의 출력 일치도가 다르게 나타났다. INT8 W8A16은 공식 FP8이나 NVIDIA NVFP4보다 BF16 기준 모델에 더 가까운 출력을 보였다. 특히 NVFP4는 88k 문맥의 약 50% 지점에서 최상위 토큰이 변경되는 현상이 확인됐다.

확인해야 할 핵심 지점

BF16 가중치를 그대로 두고 KV 캐시(Key-Value Cache, 추론 시 이전 토큰 정보를 저장하는 메모리) 정밀도만 낮췄을 때 도구 호출 성능의 차이가 발생했다. 실제 도구 호출 구간에서 INT8 정밀도는 오류가 발생한 뒤 다시 복구하는 모습을 보였으나 INT4 정밀도는 복구에 완전히 실패하는 사례가 재현되었다. 메모리 절감을 위해 적용한 KV 캐시 양자화가 긴 호흡의 에이전트 작업에서 실제 기능적 차이를 유발한다.

로컬 LLM의 체감 성능은 가중치 자체뿐 아니라 GPU, 추론 엔진, 커널, KV 캐시, 양자화, 샘플러 설정을 모두 합친 결과다. 모델 파일의 벤치마크 수치나 단순 압축률만 확인하는 방식으로는 실제 구동 환경에서 나타나는 성능을 정확히 예측하기 어렵다. 실제 용도에 맞는 긴 문맥 처리와 도구 호출 같은 구체적인 도메인 작업을 자신의 하드웨어와 소프트웨어 환경에서 직접 수행하며 검증해야 한다.

양자화 모델의 최종 검증은 벤치마크 수치나 단기 테스트가 아닌 실제 사용 환경의 런타임 스택을 포함한 도메인 작업 수행 여부를 기준으로 판단한다.