34T 토큰 학습과 128K 컨텍스트를 갖춘 LFM2.5-2.6B

LFM2.5-2.6B는 대량의 작업량을 처리해야 하는 온디바이스 에이전트 환경에 최적화된 모델이다. 기기 내부에서 직접 구동되는 온디바이스 방식은 외부 서버 통신 없이 데이터를 처리해 보안과 속도 면에서 유리하지만, 모델 크기가 작을수록 처리 정보량과 지식 깊이에 제약이 생긴다. 이 모델은 2.6B의 소형 규모임에도 대규모 학습량을 투입해 고부하 작업에서도 안정적으로 구동한다.

사전 학습 단계에서는 약 34T(조) 개의 토큰을 학습해 데이터의 다양성과 지식 밀도를 높였다. 이어지는 중간 학습(mid-training) 단계에서는 컨텍스트 윈도우를 128K까지 확장해, 매우 긴 문서나 방대한 대화 기록을 입력받아도 맥락을 유지하며 처리할 수 있게 했다.

전체 학습 공정은 사전 학습과 중간 학습을 거쳐 총 4단계의 사후 학습(post-training)으로 이어진다. 이 과정을 통해 단순 텍스트 생성기에서 도구 사용과 과업 완수가 가능한 에이전트 모델이 되었다. 사용자는 학습 데이터의 순수성이 필요한 경우 LFM2.5-2.6B-Base를, 즉시 에이전트로 활용하려는 경우 LFM2.5-2.6B를 선택할 수 있다.

두 모델은 모두 허깅페이스(Hugging Face)에서 제공된다. 공개된 브라우저 데모에서는 LFM2.5-2.6B가 연구 에이전트로 작동하며 특정 질문에 필요한 정보를 스스로 탐색하고 최종 요약문을 생성하는 과정을 보여준다.

에이전트 최적화를 위한 Agentic RL 파이프라인과 샌드박스 구조

모델 최적화, 추론, 환경 실행을 서로 다른 구성 요소로 분리해 에이전트의 행동을 학습시킨다. Training Engine은 모델 가중치를 최적화하고, Rollout Engine은 현재 정책 기반으로 행동을 생성한다. RL Framework는 롤아웃을 실행하고 궤적과 보상을 수집해 모델을 업데이트하는 전체 루프를 조율한다. RL Framework가 롤아웃 엔진에 명령을 내려 행동을 생성하게 하고 발생한 데이터를 학습 엔진으로 전달해, 학습 엔진이 실행 환경의 지연 시간과 상관없이 최적화 연산에만 집중하게 한다.

에이전트가 실제로 행동을 수행하는 곳은 Sandbox Service라는 독립된 실행 환경이다. 내부의 Blackbox Harness는 OpenClaw나 Hermes Agent 같은 에이전트를 호스팅하며 작업 환경과의 상호작용을 조정한다. 블랙박스 하네스는 에이전트의 내부 로직을 수정하지 않고 외부와 연결하는 인터페이스 역할을 수행하며, 에이전트가 환경에 내린 명령을 전달하고 반응을 다시 돌려준다. 샌드박스 구조는 에이전트의 행동이 실제 시스템에 영향을 주지 않도록 격리된 공간을 제공한다.

Harness Proxy는 에이전트 하네스의 설정을 변경하지 않고 토큰 수준의 궤적을 캡처한다. 궤적은 에이전트가 목표 달성을 위해 선택한 상태, 행동, 보상의 기록이다. 프록시는 하네스와 환경 사이의 통신 흐름을 가로채 토큰 단위 데이터를 추출하고 이를 RL 학습 샘플로 재구성한다. 이를 통해 모델이 잘못 판단한 지점을 검증할 수 있으며, 하네스 수정 없이 다양한 오픈소스 에이전트 도구를 학습 파이프라인에 통합해 데이터를 확보할 수 있다.

4배 큰 모델과 경쟁하는 지시 이행 및 도구 사용 성능

이러한 학습 구조를 통해 LFM2.5-2.6B는 자신보다 최대 4배 큰 모델들과 경쟁하며 지시 이행과 도구 사용 영역에서 우위를 기록했다. 복잡한 제약 조건과 명령을 반영하는 지시 이행 관련 모든 벤치마크에서 1위를 차지했다. 외부 API나 함수를 호출하는 도구 사용 능력은 BFCLv4를 제외한 모든 벤치마크에서 1위를 기록했다. BFCLv4(버클리 함수 호출 리더보드 v4)에서는 9.7B 규모의 Qwen 모델이 소폭 앞섰으나, 전반적으로 적은 파라미터로 높은 성능을 냈다.

에이전트 작업에서는 Gemma 모델들을 능가하고 Qwen 모델들과 대등한 수준의 성능을 보였다. 지식 측정 지표에서는 경쟁 모델보다 앞섰으며, 수학 능력 또한 상위 체급 모델과 근접한 수치를 기록했다. 이는 소형 모델의 취약점인 논리적 추론과 정확한 정보 인출 성능을 높인 결과로, 하드웨어 자원이 제한된 온디바이스 환경에서도 대형 모델 수준의 에이전트 기능을 구현할 수 있음을 보여준다.

반면 코딩 영역에서는 대형 모델들이 여전히 우위에 있다. 코딩은 엄격한 문법 구조와 방대한 라이브러리 참조 지식을 동시에 처리해야 하므로 파라미터 규모가 성능에 직접적인 영향을 준다. 복잡한 알고리즘 설계나 대규모 코드베이스 디버깅에서는 대형 모델의 지식 저장량이 더 효율적이다. LFM2.5-2.6B는 모든 영역의 균등한 발달보다 지시 이행과 도구 활용이라는 에이전트 핵심 역량에 자원을 집중해 실용적인 성능을 최적화했다.

M5 Max 220 tokens/s가 증명하는 온디바이스 추론 효율

M5 Max 칩셋에서 초당 220개의 토큰(tokens/s)을 처리하는 속도는 온디바이스 추론 비용을 낮춘다. Ryzen AI Max+ 395 환경에서도 초당 113개의 토큰을 생성해 하드웨어 제약을 낮췄다. 사용자가 텍스트를 읽는 속도보다 빠르게 결과물을 생성하므로 대기 시간 없는 즉각적인 응답이 가능하다. 특히 초당 30개의 토큰만 생성해도 스마트폰에서 실시간 에이전트 구동이 가능하므로, 클라우드 서버 의존도를 낮춰 데이터 전송 지연과 API 호출 비용을 제거할 수 있다.

고성능 GPU 서버 환경에서는 처리량이 더욱 상승한다. 단일 H100 GPU 기준 하루 약 13억 개의 토큰을 처리할 수 있으며, 고동시성 환경에서는 초당 최대 1만 5천 개의 출력 토큰을 생성했다. 단일 장비의 처리량이 늘어나면 동일 트래픽 처리에 필요한 GPU 서버 대수를 줄일 수 있어 전력 소모와 데이터센터 유지비를 낮추는 결과로 이어진다. LFM2 아키텍처는 모델 크기 대비 추론 속도를 높여 자원 점유율을 최적화했다.

배포 진입 장벽을 낮추기 위해 주요 추론 프레임워크를 즉시 지원한다. llama.cpp와 MLX는 애플 실리콘 및 CPU 환경에서 모델을 가볍게 실행하도록 돕고, vLLM과 SGLang은 서버급 환경에서 처리량을 극대화한다. 또한 범용 모델 포맷인 ONNX(Open Neural Network Exchange) 지원으로 특정 라이브러리에 종속되지 않는 이식성을 확보했다. 엔지니어는 기존 도구 체인에 모델을 그대로 통합해 모바일 앱부터 기업용 서버까지 유연하게 배치할 수 있다.

로컬 에이전트 도입을 위한 설치 방법과 모델 선택 기준

고부하 온디바이스 에이전트를 구축하려는 개발자는 최신 버전의 transformers 라이브러리를 설치해 모델을 즉시 도입할 수 있다. 설치를 위해 터미널에서 다음 명령어를 입력한다.

bash
pip install "transformers>=5.0.0"

LFM2.5-2.6B와 LFM2.5-2.6B-Base 모델은 Hugging Face를 통해 공식 배포된다. 라이브러리 버전 제약을 맞추는 것만으로 로컬 환경 구동 준비가 끝난다.

모델을 실행하려면 파이썬 환경에서 토크나이저와 모델 객체를 생성해야 한다.

python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "LFM-2.5-2.6B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

이 설정은 표준 API 호출만으로 로컬 추론 환경을 구성하게 한다. 특히 GPU 메모리가 제한적인 온디바이스 환경에서 2.6B 규모의 모델은 빠른 응답 속도와 낮은 전력 소모라는 이점을 제공한다.

하드웨어 제약과 작업의 정밀도 사이에서 적절한 타협점을 찾는 것이 배포의 핵심이다. 실제 리서치 에이전트의 성능은 제공되는 브라우저 데모를 통해 직접 검증할 수 있다.

도구 사용과 지시 이행 중심의 로컬 에이전트 구현에는 LFM2.5-2.6B를 채택하고, 복잡한 코드 생성 작업은 대형 모델에 할당하는 이원화 전략을 실행한다.