1.7B 파라미터와 2.1T 토큰으로 증명한 CFM의 확장성

1.7B 파라미터 규모의 모델이 2.1T 토큰을 학습해 고품질 텍스트를 생성할 수 있음이 확인되었으나, 7B 이상의 초거대 규모에서의 확장성이나 실제 서비스 적용 시 발생하는 구체적인 지연 시간 수치는 아직 검증되지 않았다. 이 결과는 기존에 1B 미만 소규모 모델에서만 가능성이 보였던 CFM(Categorical Flow Maps, 범주형 흐름 맵) 방식이 실제 모델 크기를 키웠을 때도 유효하게 작동한다는 점을 입증한다. 이는 모델의 크기를 키우면서도 생성 효율을 유지하려는 엔지니어에게 실질적인 선택지를 제공하는 근거가 된다.

모델의 물리적 규모는 1.7B 파라미터 베이스 플로우 모델로 설계했다. 파라미터는 인공지능이 데이터를 학습하며 스스로 조정하는 가중치 숫자로, 모델이 기억하고 처리할 수 있는 정보의 총량과 지능의 깊이를 결정하는 핵심 지표다. 학습에 투입된 데이터는 총 2.1T 토큰이다. 토큰은 텍스트를 처리하는 최소 단위이며, 2조 1천억 개의 토큰을 학습시켜 모델이 방대한 언어 패턴과 복잡한 문맥을 충분히 습득하도록 했다. 이는 단순한 개념 증명을 넘어 실제 대규모 데이터셋 환경에서도 CFM 구조가 안정적으로 학습될 수 있음을 보여준다.

생성된 텍스트의 품질을 객관적으로 검증하기 위해 토큰 엔트로피 수치를 분석했다. 토큰 엔트로피는 생성되는 단어들이 얼마나 무작위하게 분포하는지, 즉 표현의 다양성이 얼마나 확보되었는지를 나타내는 통계적 척도다. 분석 결과 1.7B 모델은 학습 데이터가 가진 원래의 엔트로피 수준을 거의 그대로 유지하는 성능을 보였다. 모델 규모가 커질 때 흔히 발생하는 특정 단어의 과도한 반복이나 단조로운 문장 생성 현상 없이, 실제 데이터 수준의 풍부한 표현력을 유지하며 텍스트를 생성할 수 있다는 사실을 확인했다.

추론 단계의 효율성은 자가 증류 기법을 통해 극대화했다. 자가 증류는 모델이 스스로 도출한 최적의 결과물을 다시 정답으로 삼아 학습함으로써 복잡한 연산 경로를 단순하게 압축하는 방식이다. 이 과정을 거친 CFM 모델은 최소 4단계의 추론 단계만으로도 고품질 텍스트를 생성하는 능력을 갖췄다. 이는 텍스트를 한 토큰씩 순차적으로 만들어내야 하는 기존의 자동 회귀 방식과 대비되는 수치다. 단 몇 번의 연산 과정만으로 전체 문장의 구조를 완성함으로써 추론에 필요한 시간과 자원을 획기적으로 줄일 수 있는 가능성을 수치로 증명했다.

가우시안-원핫 흐름 매칭과 자가 증류(Self-distillation) 구조

기존의 연속 생성 모델은 1B 미만의 소규모 파라미터 범위에서만 검증되었으며 대규모 확장 가능성은 확인되지 않은 상태였다. 이 모델은 가우시안 분포와 원-핫 인코딩 데이터 분포 사이의 단순 흐름 매칭을 수행한다. 원-핫 인코딩은 데이터를 0과 1로 이루어진 벡터로 표현하는 방식이다. 정수 형태의 이산적인 텍스트 데이터를 연속적인 공간의 흐름으로 매핑하여 생성하는 구조를 갖췄다. 가우시안 분포의 무작위 노이즈에서 시작해 텍스트의 정체성을 가진 원-핫 벡터로 변하는 경로를 학습하며, 이 과정에서 데이터의 확률 분포를 연속적인 벡터 필드로 변환하여 정의한다. 이는 이산적인 토큰을 직접 생성하는 대신 연속적인 값의 변화를 통해 정답에 접근하는 방식이다.

샘플링 속도를 높이기 위해 베이스 플로우 모델을 CFM(Categorical Flow Maps, 범주형 흐름 지도)으로 자가 증류한다. 자가 증류는 모델이 스스로 생성한 지식을 압축하여 다시 학습하는 방식이다. 베이스 모델이 학습한 복잡한 생성 경로를 더 단순하고 효율적인 경로로 재구성하여 추론 단계의 횟수를 획기적으로 줄이는 가속 샘플링을 구현한다. 특히 적은 단계만으로도 고품질의 샘플을 얻는 few-step regime(소수 단계 영역)에서 경쟁력 있는 품질을 확보하는 것이 핵심이다. 연속적인 흐름의 궤적을 최적화하여 적은 단계의 계산만으로도 최종 데이터 분포에 빠르게 도달하게 만든다. 이는 기존의 점진적인 생성 방식이 가졌던 높은 계산 비용 문제를 해결하는 기술적 장치다.

평가 단계에서는 연속적인 값과 이산적인 값이 혼합된 세미-디스크리트 설정에서 CFM을 위한 우도 경계를 도입한다. 우도 경계는 모델이 특정 데이터를 예측할 확률의 상한선을 의미한다. 이 기법은 이산 데이터의 특성을 유지하면서 연속적인 흐름 매칭의 효율성을 측정하는 기준이 된다. 모델이 생성한 연속적인 값이 실제 이산 토큰의 분포와 얼마나 일치하는지 수치적으로 제한하고 검증하여 학습의 방향성을 잡는다. 연속 공간에서의 최적화가 실제 텍스트 생성이라는 이산적 결과로 이어질 때 발생하는 오차를 제어하고 생성 품질을 확보하는 장치다. 이를 통해 모델은 연속적인 흐름을 타면서도 최종적으로는 정확한 이산 토큰을 선택하는 능력을 갖춘다.

자기회귀(AR) 방식 및 이산 확산 모델과의 성능 대비

토큰을 하나씩 순차적으로 생성하는 자기회귀(AR, 이전 토큰을 기반으로 다음 토큰을 예측하는 방식) 모델은 문장이 길어질수록 추론 시간이 선형적으로 증가하는 구조적 한계가 있다. AR 방식은 첫 번째 토큰을 생성한 뒤 이를 다시 입력으로 넣어 두 번째 토큰을 만드는 과정을 반복하므로, 생성해야 할 토큰의 개수가 많을수록 연산 횟수가 정비례하게 늘어난다. CFM은 이러한 순차적 생성 과정을 생략하고 가속 샘플링(Accelerated sampling, 여러 단계를 건너뛰어 빠르게 결과물을 만드는 기법)을 적용해 생성 속도를 높인다. 이는 텍스트 생성의 가장 큰 병목 지점인 토큰별 순차 연산의 의존성을 제거하여 전체적인 추론 효율을 개선한 결과다.

CFM은 생성 방향을 특정 조건에 맞춰 정밀하게 조정하는 틸팅(Tilting) 기법을 지원한다. 틸팅은 모델이 데이터를 생성하는 경로를 특정 조건부 분포로 유도하여, 사용자가 의도한 특성의 텍스트가 출력될 확률을 높이는 제어 방식이다. 기존 자기회귀 모델이 매 단계에서 확률 분포에 따라 다음 토큰을 선택하며 경로를 결정했다면, CFM은 전체적인 흐름을 조정해 최종 결과값에 도달하는 최적의 궤적 자체를 제어한다. 이러한 방식은 생성 과정에서 조건 반영의 정확도를 높이면서도 샘플링 단계의 효율성을 유지하는 이점을 제공한다.

이산 확산(Discrete diffusion, 데이터를 단계적으로 노이즈로 만들었다가 다시 복원하며 학습하는 방식) 모델과 비교했을 때 CFM은 표준 언어 모델 벤치마크에서 대등한 성능을 기록했다. 텍스트 데이터는 연속적인 값이 아닌 개별 토큰으로 이루어진 이산적인 특성을 가지므로, 이를 처리하는 이산 확산 모델은 그동안 고품질 텍스트 생성의 기준점으로 활용되었다. CFM은 벤치마크 결과에서 이산 확산 방법이 달성한 것과 동일한 범위의 정확도와 품질 지표를 보여주었다. 이는 흐름 매칭 기반의 접근법이 기존 확산 모델이 확보한 텍스트 생성 능력을 희생하지 않고도 추론 속도를 개선할 수 있음을 입증한다.

작동 핵심은 조건이 없는 표준 가우시안 노이즈(Gaussian noise, 평균과 분산이 정해진 종 모양의 무작위 분포)를 조건부 데이터 분포로 이동시키는 흐름을 설계하는 것이다. 모델은 학습 과정에서 단순한 무작위 노이즈 상태에서 실제 데이터의 확률 분포로 이동하는 최적의 경로, 즉 흐름(Flow)을 학습한다. 이 과정에서 모델은 데이터 분포의 밀도를 옮기는 질량 이동(Mass transport)과 특정 조건을 결과에 반영하는 조건 주입(Conditional injection)을 동시에 수행한다. 결과적으로 CFM은 노이즈에서 데이터로 가는 직선적인 경로를 학습함으로써, 복잡한 확산 과정 없이도 효율적으로 조건부 데이터를 생성한다.

대규모 훈련 시 발생하는 제약과 최적화 인사이트

1.7B 규모로 모델을 확장하는 과정에서 학습 곡선이 불규칙하게 진동하거나 손실 값이 급증하는 학습 불안정성이 확인됐다. 모델의 파라미터 수가 늘어나면 최적화 경로가 복잡해지며 수렴 속도가 느려지거나 특정 구간에서 값이 튀는 현상이 빈번하게 발생한다. 이는 대규모 데이터셋을 처리하는 과정에서 수치적 정밀도 한계로 인해 기울기 값이 비정상적으로 커지는 문제가 증폭되기 때문이다. 엔지니어는 모델 규모에 맞는 정밀한 하이퍼파라미터 조정 없이는 학습을 완수하거나 일관된 성능을 얻기 어렵다.

학습 안정성을 확보하는 구체적인 해결책은 손실 가중치(Loss weighting, 예측 오차에 부여하는 가중치)를 조정하는 처방적 설정을 적용하는 것이다. 플로우 매칭 모델은 시간 단계 t에 따라 예측해야 하는 벡터 필드의 특성이 달라지며, 이에 따라 발생하는 오차의 크기와 성격도 차이를 보인다. 모든 시간 단계의 손실 값을 동일하게 처리하면 특정 구간의 오차가 전체 학습 방향을 왜곡하여 모델이 발산할 위험이 크다. 각 시간 단계의 손실 값에 서로 다른 가중치를 곱해 전체 손실의 합을 최적화하면 기울기 폭주를 억제하고 데이터 분포의 세부 특징을 더 고르게 학습한다.

시간 스케줄링(Time scheduling, 학습 시 시간 단계의 배치 방식) 최적화 역시 모델의 수렴 성능을 결정하는 핵심 구현 요소다. 시간 스케줄링은 가우시안 분포에서 실제 데이터 분포로 이동하는 경로 중 어느 지점을 더 집중적으로 학습할지 결정하는 샘플링 전략이다. 시간 단계를 단순히 균등하게 배치하는 방식에서 벗어나, 학습 효율이 낮은 구간의 샘플링 밀도를 높이는 방식으로 설정을 변경해야 한다. 최적화된 스케줄링은 노이즈가 빠르게 제거되는 초기 단계와 토큰의 세부 디테일이 완성되는 후기 단계 사이의 학습 강도를 정밀하게 조절하여 최종 생성 품질을 높인다.

다만 이러한 최적화 인사이트와 구체적인 설정값은 1.7B 파라미터 규모에서 검증된 결과다. 7B 이상의 초거대 규모 모델로 확장했을 때 동일한 손실 가중치와 시간 스케줄링 값이 그대로 작동하여 안정성을 보장하는지는 확인되지 않았다. 모델 규모가 커질수록 수치적 안정성 범위가 좁아지고 하이퍼파라미터에 대한 민감도가 높아지므로 더 세밀한 튜닝이 요구된다. 대규모 모델 적용을 검토하는 개발자는 원문의 설정값을 초기 기준점으로 삼되, 모델 규모 증가에 따른 손실 값의 변화 추이를 측정하며 최적값을 다시 찾아야 한다.

한국어 LLM 추론 최적화를 위한 실무적 시사점

CFM은 자가 증류를 통해 최소 4단계의 추론 단계만으로 텍스트를 생성한다. 기존의 자기회귀(AR, 이전 토큰을 기반으로 다음 토큰을 하나씩 예측하는 방식) 모델은 생성할 토큰 수만큼 추론을 반복해야 하므로 토큰 생성 속도가 서비스의 물리적 병목이 된다. 4단계라는 고정된 단계로 결과물을 내는 구조는 생성할 문장의 길이에 상관없이 추론 횟수를 일정 수준으로 묶어 지연 시간을 낮춘다. 토큰 생성 속도가 사용자 경험의 핵심인 실시간 채팅이나 대량 문서 요약 서비스에서 AR 방식의 대안으로 가속 샘플링 도입을 검토할 수 있다.

이러한 추론 효율은 1.7B 파라미터 규모의 모델에서 성공적으로 구현되었다. 모델의 크기가 커질수록 학습 과정에서 발생하는 수치적 불안정성이 증가하므로 원문이 제시한 손실 가중치(Loss weighting, 학습 시 각 손실 함수에 부여하는 중요도) 조정이 필수적으로 수반되어야 한다. 또한 시간 스케줄링(Time scheduling, 학습 단계별 시간 간격을 배치하는 방식) 최적화 없이는 대규모 모델에서도 동일한 수준의 추론 효율과 품질을 확보하기 어렵다. 7B 이상의 초거대 모델에 적용하려는 실무자는 단순히 아키텍처를 복제하는 것이 아니라 이 두 가지 최적화 변수를 모델 규모에 맞춰 다시 튜닝하는 과정이 필요하다.

국내 LLM 서비스 환경은 제한된 GPU 자원으로 최대의 처리량을 확보해야 하는 제약이 크다. AR 모델의 선형적인 추론 시간 증가를 극복하기 위해 CFM의 고정 단계 추론을 도입하면 단위 시간당 처리 가능한 요청 수를 늘릴 수 있다. 특히 입력 토큰 대비 출력 토큰의 비중이 높은 생성 작업에서 추론 횟수 감소 효과가 커진다. 다만 1.7B 이상의 규모에서 실제 서비스 지연 시간이 얼마나 단축되는지에 대한 구체적인 수치는 아직 확인되지 않았으므로, 소규모 모델에서 먼저 손실 가중치와 시간 스케줄링의 상관관계를 검증하는 단계가 선행되어야 한다.

실무적으로는 모델의 파라미터 규모와 요구되는 생성 속도를 대조하여 도입 여부를 결정해야 한다. 1.7B 규모의 모델을 기반으로 빠른 응답성이 필요한 엣지 디바이스나 경량 서버 환경을 구축한다면 CFM의 구조가 효율적이다. 반면 모델 규모를 확장할 때는 원문에서 지적한 학습 불안정성 문제를 해결하기 위한 손실 가중치 최적화 작업에 더 많은 리소스를 투입해야 한다.

토큰 생성 속도가 서비스의 핵심 병목인 환경에서 1.7B 규모의 모델을 운용한다면, AR 방식 대신 CFM의 4단계 가속 샘플링을 도입하여 추론 비용을 절감하는 것이 실무적인 실행 기준이다.