긴 컨텍스트와 큰 어휘집(Vocab)을 사용하는 LLM 학습 시 메모리 효율을 높이는 FLCE(Fused Logits Cross Entropy, 로짓-교차 엔트로피 융합 계산) 기법이 공개되었다. 128K 컨텍스트 환경에서 로짓 텐서 하나가 40GB에 달해 모델 가중치보다 커지며 발생하는 메모리 부족(OOM) 문제를 해결한다.

기존의 시퀀스 축 청크 분할 방식은 오토그라드(Autograd, 자동 미분 엔진)가 역전파까지 그래프를 유지하므로 피크 메모리를 낮추지 못한다. FLCE는 포워드 패스 내에서 각 청크의 그래디언트를 즉시 계산해 대형 텐서가 그래프에 남지 않도록 설계했다.

이 기법은 메모리 사용량과 지연 시간(Latency) 사이의 트레이드오프 분석과 실제 커널 구현 과정을 포함한다. 적용 시 실제 메모리 절감 폭과 연산 속도 변화를 확인해야 한다.