LFM2.5-350M의 스키마 준수 능력과 IFStruct 벤치마크

LLM이 실제 시스템의 API나 데이터 파이프라인에 연결되기 위해서는 단순한 답변 능력이 아니라 정해진 규격을 정확히 맞추는 스키마 준수(Schema Compliance) 능력이 필수적이다. 규격을 벗어난 출력은 후속 시스템에서 파싱 에러를 일으켜 전체 워크플로를 중단시키기 때문이다. 이러한 출력의 유효성과 스키마 준수 여부를 테스트하기 위해 LiquidAI/ifstruct-v1.0 데이터셋을 기반으로 하는 오픈소스 벤치마크 IFStruct를 사용한다. 이 벤치마크는 모델이 JSON이나 YAML 같은 구조화된 형식을 요청받았을 때 문법적 오류 없이 지정된 필드를 모두 포함했는지를 엄격하게 검증한다.

LFM2.5-350M 모델이 MacBook 로컬 환경에서 llama.cpp 추론 엔진을 통해 IFStruct 벤치마크를 수행했다. 모델은 BF16 정밀도의 GGUF 포맷인 LFM2.5-350M-GGUF로 서빙되었으며, llama-server를 이용해 로컬 서버 형태로 구동되었다. 이 환경에서 측정된 LFM2.5-350M의 baseline 점수는 22.6%로 나타났다. 이는 IFStruct 공식 블로그에서 보고한 21.1%와 유사한 수준이며, 350M라는 초소형 파라미터 규모의 모델이 순정 상태에서는 구조화된 데이터를 생성하는 데 상당한 한계가 있음을 보여준다.

실제 측정 과정에서는 파이썬 도구 관리자 uv를 사용하여 환경을 구축하고 `python evaluate_ifstruct.py --server http://localhost:8080` 명령어로 응답의 스키마 준수율을 계산했다. 22.6%라는 낮은 baseline 수치는 역설적으로 태스크 특화 튜닝을 통해 성능을 끌어올릴 수 있는 공간이 충분하다는 실무적 판단 기준이 된다. 소형 모델이 거대 모델 수준의 신뢰도를 확보하기 위해서는 단순한 지능 향상이 아니라, 출력 형식을 강제하는 정교한 학습 전략이 필요하다.

Nemotron 데이터셋과 LFM 전용 LoRA 튜닝 설정

연구진이 `nvidia/Nemotron-RL-instruction_following-structured_outputs` 데이터셋에서 약 500개의 샘플을 추출하여 학습 데이터로 사용했다. 이 데이터셋은 각 프롬프트에 타겟 JSON 스키마와 예상 필드 수를 쌍으로 제공하여 모델이 구조적 정확도를 학습할 수 있게 돕는다. 다만 Nemotron 데이터 분포가 IFStruct 평가 데이터와 차이가 있다는 점을 고려하여, 두 데이터셋 사이의 간극을 메우기 위해 프롬프트를 보강하는 전처리 과정을 수행했다.

LFM2.5-350M 모델에 LoRA(Low-Rank Adaptation) 어댑터를 부착하여 효율적인 파인튜닝을 진행했다. LFM2.5는 일반적인 LLM과 달리 어텐션과 컨볼루션이 혼합된 하이브리드 아키텍처를 사용하므로, 튜닝 타겟을 LFM 전용 모듈 이름으로 설정했다. 이 설정을 통해 전체 모델 파라미터의 약 1.66%에 해당하는 6M 개의 파라미터만 학습시켰다. 모델 전체를 업데이트하지 않고 일부 가중치만 조정함으로써 메모리 점유율을 낮게 유지하고 학습 속도를 극대화했다.

이러한 가벼운 튜닝 방식은 컴퓨팅 자원이 제한된 환경에서도 소형 모델의 동작을 빠르게 교정할 수 있게 한다. 특히 구조화된 출력과 같은 형식적 제약 조건은 모델의 전체적인 지능을 수정하기보다 특정 출력 레이어의 패턴을 조정하는 것만으로도 큰 효과를 볼 수 있다. 6M 개의 파라미터 튜닝만으로도 모델이 불필요한 텍스트를 제거하고 지정된 스키마에 집중하게 만드는 기초 토대를 마련했다.

GRPO 보상 함수 설계와 16GB GPU 학습 워크플로

모델이 생성한 결과물의 구조적 정확도를 정밀하게 제어하기 위해 3가지 보상 함수를 정의했다. 각 함수는 추출된 구조가 정해진 스키마를 얼마나 잘 따르는지를 0에서 1 사이의 수치로 반환한다. 이 세 가지 보상 신호를 단순히 합산하지 않고 `reward_weights=[1.0, 0.5, 2.0]`라는 가중치를 적용해 합산함으로써, 특정 형식 준수 여부에 더 강한 피드백을 주어 모델이 정답 형식을 빠르게 체득하도록 유도했다.

학습 환경은 무료 티어 수준의 16GB GPU 메모리 조건에 최적화하여 구성했다. GRPO(Group Relative Policy Optimization) 알고리즘을 적용해 프롬프트 그룹당 8개의 결과물을 생성하고, 그중 보상 점수가 높은 방향으로 가중치를 조정했다. 전체 학습은 총 100단계(steps) 동안 진행되었으며, 이는 매우 짧은 학습 주기임에도 불구하고 명확한 보상 가중치 덕분에 소형 모델의 출력 제어 능력을 빠르게 개선시켰다.

학습 과정의 모니터링 결과, 세 가지 보상 구성 요소의 점수가 모두 우상향하는 곡선을 그렸으며 참조 모델과의 KL 발산은 웜업 단계 이후 0에서 벗어나 상승했다. 또한 잘린 완료(truncated-completion) 비율이 0 근처에서 유지되어 모델이 형식을 맞추면서도 답변을 중간에 끊지 않고 완결성 있게 출력하고 있음을 확인했다. 16GB GPU와 100단계라는 최소한의 자원 투입으로도 소형 모델의 출력 신뢰도를 높이는 효율적인 학습 루프를 완성했다.

JSON 통과율 상승과 모델 체급 간 성능 격차 분석

GRPO 학습을 마친 LFM2.5-350M 모델이 IFStruct 벤치마크에서 최종 29.7%의 점수를 기록하며 baseline(22.6%) 대비 성능 향상을 입증했다. 특히 JSON 통과율(Pass Rate)의 변화가 두드러졌는데, 학습 전 18.0%에서 학습 후 31.9%로 약 14포인트 상승했다. 이는 모델이 단순히 텍스트를 흉내 내는 수준을 넘어, JSON의 괄호와 쉼표 등 엄격한 구조적 제약 조건을 이해하고 출력하는 능력이 강화되었음을 의미한다.

반면 YAML 출력 성능의 경우 학습 전후로 유의미한 수치 변화가 관찰되지 않았다. 이는 이번 학습에 사용된 보상 함수가 JSON 구조의 정확도를 측정하는 데 최적화되어 설계되었기 때문이다. 모든 형식을 일괄적으로 개선하는 범용 튜닝이 아니라, 실무 수요가 가장 높은 JSON 스키마 준수 능력만을 정밀하게 타격한 결과이며, 이는 특정 태스크에 맞춘 보상 설계가 모델의 다른 능력을 해치지 않고 필요한 기능만 선택적으로 끌어올릴 수 있음을 보여준다.

최종 성능 29.7%는 Qwen3.5-2B 모델이 기록한 33.15%보다는 여전히 낮은 수치다. 하지만 파라미터 규모가 약 6배 가까이 차이 나는 두 모델의 점수 격차가 매우 좁혀졌다는 점에 주목해야 한다. 350M 모델이 단 500개의 샘플과 100단계의 학습만으로 2B 모델의 성능에 근접했다는 것은, 저렴한 태스크 특화 보상 신호가 모델 크기의 물리적 한계를 보완하는 실질적인 도구가 될 수 있음을 증명한다.

소형 모델 도입을 위한 비용-성능 판단 기준과 결론

실무에서 모델을 후속 시스템(Downstream System)에 연결할 때 가장 중요한 것은 전체 추론 지능이 아니라 스키마 준수 여부다. 출력 형식이 조금만 틀어져도 런타임 에러가 발생해 전체 파이프라인이 멈추기 때문에, 파싱 가능한 유효한 출력을 일관되게 내놓는 '형식 신뢰도'가 도입의 핵심 관문이 된다. 지능의 총량에 집착하기보다 서비스가 요구하는 최소한의 규격 준수 능력을 갖추는 것이 실무적 관점의 최적화다.

학습이 완료된 후에는 LoRA 어댑터를 베이스 가중치에 병합하여 단일 체크포인트로 저장하고, 이를 GGUF 포맷으로 변환하여 llama.cpp 기반의 로컬 서버나 엣지 디바이스에 배포한다. 고가의 GPU 자원을 소모하는 대형 모델 대신 튜닝된 소형 모델을 사용하면 추론 속도가 빨라지고 인프라 비용을 획기적으로 줄일 수 있다. 특히 정해진 JSON 규격만 정확히 출력하면 되는 데이터 추출, 단순 분류, API 파라미터 생성 작업에서 그 효용이 극대화된다.

결론적으로, JSON/YAML 등 구조화된 데이터 추출이 필수적인 환경에서 2B 이상의 모델이 제공하는 추가 성능 향상분보다 추론 비용 절감액과 응답 속도 개선의 이득이 더 크다고 판단될 때 튜닝된 350M 모델을 도입한다. 실무자는 보상 함수 가중치를 `[1.0, 0.5, 2.0]`로 설정하고 16GB GPU 기준 100단계 학습 설정을 적용함으로써, 최소한의 비용으로 상용 수준의 구조화 출력기를 확보할 수 있다. 모델의 체급을 낮추면서도 출력의 신뢰도를 높이는 전략은 온디바이스 AI 배포와 운영 비용 최적화를 동시에 달성하는 가장 경제적인 경로가 된다.