미국 초등학교 교육과정(K-5) 데이터로만 학습된 LLM이다

88B 토큰의 말뭉치에서 5학년 이상의 개념과 사실, 어휘를 명시적으로 제외하는 필터링을 거쳐 모델을 처음부터 학습시켰다. 미국 초등 교육과정(K-5) 표준인 Common Core(미국 공통 교육과정 표준)에 맞춘 5단계 필터링 파이프라인을 통해 데이터를 정제했다. 학년 수준을 넘어서는 정보가 포함되지 않도록 데이터셋의 상한선을 엄격하게 설정한 결과다.

이 과정에서 FineWeb-Edu(웹 기반 교육 데이터셋)에서 추출한 데이터를 바탕으로 LittleCurriculum(리틀커리큘럼)을 구축했다. 이렇게 특정 학년 수준으로 제한된 데이터셋만으로 학습한 LittleLearner(리틀러너)는 지식의 경계가 명확히 해석 가능한 채팅 모델로 구현됐다.

모델 규모는 0.6B, 1.3B, 5B의 세 가지 버전으로 나누어 처음부터 학습을 진행했다. 각 모델은 동일한 아키텍처와 학습 레시피를 공유하며, 성능 비교를 위해 필터링을 거치지 않은 Unfiltered(언필터드) 대조군 모델이 함께 제공된다.

이는 필터링되지 않은 일반 모델과 비교해 데이터의 제약이 모델의 지식 범위에 어떤 영향을 주는지 정밀하게 대조하기 위한 구성이다. 학습 데이터의 범위와 모델의 실제 능력 사이의 상관관계를 확인해 지식 경계를 해석하려는 목적이다.

사후 학습은 K-5 범위 내 능력은 크게 향상시키지만, 범위

K-5(미국 초등 5학년까지의 표준 교육과정) 범위 밖의 데이터를 학습시켜도 고학년 수준의 추론 능력은 돌아오지 않았다. GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화) 사후 학습을 거치면 K-5 범위 내의 능력은 크게 향상된다. 그러나 범위 밖의 데이터를 투입해 학습시켜도 K-5를 넘어서는 능력을 회복하는 데는 실패했다. 사후 학습이 기존 지식의 최적화에는 기여하지만, 사전 학습 단계에서 배제된 능력을 다시 살려내는 도구는 아니라는 결과다. 학습 데이터의 범위를 넓히는 시도만으로는 사전 학습의 공백을 메울 수 없었다.

5B LittleLearner 모델에서 시도한 ICL(In-context learning, 인컨텍스트 학습) 또한 K-5 범위를 벗어난 새로운 추론 능력을 끌어내지 못했다. 테스트된 프롬프트 조건 내에서 범위 밖의 추론 능력이 잠금 해제되지 않음이 확인되었다. 모델의 규모가 5B 수준이라 하더라도, 사전 학습에서 누락된 추론 체계는 프롬프트 기법만으로 복구되지 않는다. 특정 프롬프트를 통해 모델 내부의 숨겨진 능력을 유도하려 했으나, K-5 범위를 넘어서는 추론은 작동하지 않았다. 이는 프롬프트 구성보다 사전 학습 데이터의 구성이 모델의 최종 능력치를 결정하는 결정적 요인임을 보여준다.

사전 학습 단계의 필터링이 모델의 실질적인 능력

모델 규모를 확장하고 SFT(지도 미세 조정)와 GRPO(그룹 상대 정책 최적화) 사후 학습을 적용해도 교육과정 밖의 성능은 유의미하게 개선되지 않았다. 인컨텍스트 학습(ICL, 문맥 내 학습) 또한 이미 학습된 범위 내의 능력만 증폭시키는 결과에 그쳤다. LittleLearner 실험은 사전 학습 단계의 필터링이 모델의 실질적인 능력 상한선(capability ceiling)을 결정하며, 사후 학습은 단지 교육과정에서 배운 내용을 강화할 뿐이라는 점을 보여준다.

LittleLearner는 사전 학습 모델인 Base, MathCAMPS 데이터셋으로 사후 학습한 수학 전문가 모델 GRPO, 일반 채팅 동작에 맞게 튜닝한 Chatty 세 가지 변형으로 제공된다. GRPO 모델의 경우 수학 중심의 출력 경향을 보이며 특정 영역의 전문성을 강화하는 특성을 갖췄다. 하지만 이러한 사후 학습이나 채팅 튜닝 방식은 사전 학습 데이터가 구축한 기본 역량의 범위를 넘어서는 성능 향상을 이끌어내지 못했다.

모델 크기 확장과 강화학습은 학습 범위 내(In-scope) 능력은 강화하지만, 범위 외(Out-of-scope) 추론 능력을 새롭게 잠금 해제하지 못한다.