3GB 메모리 점유와 갤럭시 S26 울트라 20tps의 온디바이스 성능

갤럭시 S26 울트라에서 초당 20토큰을 생성하며 완전한 온디바이스 실행이 가능하다. 온디바이스(on-device)는 외부 서버 연결 없이 기기 내부 칩셋만으로 AI를 구동하는 방식이다. 이 수치는 네트워크 지연이나 서버 비용 없이 모바일 기기에서 실시간으로 비전 AI를 사용할 수 있는 환경을 제공한다. LFM2.5-VL-3B 모델은 서버 의존성을 완전히 없애고 개인 기기 내에서 데이터 처리를 완결짓는 선택지를 제공한다.

LFM2.5-VL-3B는 약 3GB의 메모리 점유만으로 동작한다. 메모리 점유는 모델이 실행될 때 RAM(주기억장치)에서 차지하는 공간을 의미한다. 3B 규모의 모델이 3GB 수준의 메모리만 사용한다는 점은 모바일이나 엣지 기기(edge device, 중앙 서버가 아닌 단말단 기기)의 하드웨어 제약을 극복하게 한다. 실제 하드웨어별 추론 속도는 칩셋 성능에 따라 뚜렷한 차이를 보인다. M5 Max 칩셋에서는 초당 228토큰을 생성하며, Ryzen AI Max+ 395에서는 초당 116토큰의 처리량을 기록했다. 이는 고성능 워크스테이션부터 모바일 폰까지 동일한 모델을 이식할 수 있음을 보여준다.

토큰(token)은 AI가 텍스트를 처리하는 최소 단위이며, 초당 토큰 수(tps)가 높을수록 사용자는 더 빠른 답변을 받는다. 갤럭시 S26 울트라의 20tps는 사람이 일반적인 속도로 글을 읽는 수준을 상회한다. 이 속도는 모바일 환경에서 텍스트 생성이나 이미지 분석 결과가 끊김 없이 출력되는 실시간성을 보장한다. 특히 3B 규모의 모델이 보여주는 이 속도는 모바일 기기의 NPU(신경망 처리 장치) 활용 효율을 극대화한 결과다. LFM2.5-VL-3B는 하드웨어 자원이 제한된 환경에서도 지능형 서비스를 구현할 수 있는 물리적 토대를 마련했다.

대량의 작업 부하가 발생하는 환경에서 온디바이스 지능이 필요할 때 LFM2.5-VL-3B를 사용할 수 있다. 서버로 데이터를 전송하고 응답을 기다리는 통신 과정이 생략되므로 데이터 전송 비용과 전체 처리 시간이 동시에 단축된다. 3GB라는 낮은 메모리 요구 사항은 여러 앱이 동시에 실행되는 모바일 운영체제 환경에서 메모리 부족으로 인한 시스템 부하를 줄이는 실질적인 이점이 된다. 이는 어디서나 실행되는 AI라는 목표를 위해 하드웨어 점유율을 낮추면서도 실시간 추론 속도를 확보한 결과다. 엣지 컴퓨팅 환경에서 모델을 직접 구동함으로써 데이터 보안과 처리 속도를 동시에 확보했다.

SigLIP2 인코더와 34T 토큰 기반의 학습 구조

SigLIP2 400M NaFlex 비전 인코더가 이미지의 시각적 특징을 추출하는 역할을 수행한다. 400M은 인코더의 파라미터 규모를 의미하며, 비전 인코더는 이미지 데이터를 모델이 이해할 수 있는 수치 형태의 특징 벡터로 변환하는 장치다. 텍스트를 처리하는 백본은 LFM2.5-2.6B 모델과 동일한 구조를 채택했다. 시각 정보 추출기와 텍스트 처리기가 결합되어 이미지 속의 맥락을 텍스트로 변환하는 구조를 갖췄다.

전체 학습 과정에는 약 34T 토큰의 데이터가 투입되었다. 특히 비전 데이터의 비중을 이전 모델 대비 4배 확대하여 시각 이해도를 높였다. 학습 데이터는 이미지와 설명을 짝지은 이미지-캡션, 이미지 속 글자를 텍스트로 변환하는 OCR, 이미지 내 객체의 정확한 좌표를 지정하는 그라운딩, 특정 지시를 수행하는 지시 이행 세트로 구성된다. 비라틴 문자 처리 능력을 높이기 위해 토크나이저의 어휘집인 보카블러리를 128K로 2배 확장했다. 토크나이저는 문장을 최소 단위인 토큰으로 쪼개는 도구이며, 어휘집이 커질수록 한국어나 중국어 같은 비영어권 문자를 더 적은 토큰으로 효율적으로 처리할 수 있다.

포스트 트레이닝 1단계에서는 SFT(지도 미세 조정)와 지식 증류를 적용했다. SFT는 사람이 직접 작성한 정답 쌍을 학습시켜 모델이 사용자의 의도에 맞는 응답 형식을 익히게 하는 과정이다. 지식 증류는 규모가 큰 상위 모델이 가진 정교한 추론 능력을 작은 모델에 효율적으로 이식하는 기술이다. 여기에 Antidoom 학습을 추가해 모델이 생성할 수 있는 치명적인 오류나 예외 상황에 대한 대응력을 높였다. 이 과정은 모델이 기초적인 시각 이해를 넘어 실제 서비스에 적용 가능한 수준의 정밀도를 갖추게 한다.

포스트 트레이닝 2단계에서는 멀티 리워드 RL(강화 학습)을 수행했다. RL은 모델이 내놓은 답변에 대해 보상을 부여해 더 나은 방향으로 스스로 최적화하게 만드는 학습법이다. 특히 단일 기준이 아닌 여러 개의 보상 체계를 사용하는 멀티 리워드 방식을 통해 답변의 정확도와 안전성을 동시에 확보했다. 이러한 단계적 학습 구조는 모델이 단순한 이미지 묘사를 넘어 문서 이해와 도구 호출 같은 복잡한 작업까지 수행하는 기술적 토대가 된다. 결과적으로 LFM2.5-VL-3B는 일상적인 캡셔닝과 시각적 질의응답을 아우르는 범용 시각 언어 모델의 성능을 구현했다.

4B 모델 대비 2배 빠른 11K tps 처리량과 툴 사용 능력

고동시성 환경에서 초당 약 11,000개 토큰(tokens/s)을 처리해야 하는 서비스 운영자에게 LFM2.5-VL-3B의 처리량은 인프라 비용을 결정하는 핵심 지표가 된다. 토큰은 인공지능이 문자를 인식하고 생성하는 최소 단위다. 이 모델은 4B(40억 개 파라미터)급 모델과 비교했을 때 출력 속도가 약 2배 빠르다. 파라미터 규모를 줄이면서도 단위 시간당 처리하는 데이터 양을 극대화해 상위 체급 모델이 가진 처리 효율을 상회하는 결과를 냈다. 이는 동일한 하드웨어 자원으로 두 배 더 많은 사용자 요청을 동시에 처리할 수 있어 GPU 서버 증설 비용을 직접적으로 낮추는 효과를 준다.

단일 H100 GPU를 투입했을 때 하루에 약 10억 개의 출력 토큰을 생성하는 성능을 보여준다. H100은 대규모 언어 모델 학습과 추론에 쓰이는 엔비디아의 고성능 가속기다. 특히 여러 장의 이미지가 동시에 입력되는 멀티 프레임 환경에서 지연 시간을 일관되게 낮게 유지하며 가장 빠른 속도를 기록했다. 지연 시간은 사용자가 요청을 보낸 후 첫 번째 토큰이 나올 때까지 걸리는 물리적 시간을 의미한다. 고해상도 이미지나 연속된 프레임을 처리할 때 발생하는 연산 병목을 줄여 실시간 응답성이 필수적인 비전 AI 서비스에 적합한 추론 구조를 갖췄다.

텍스트 전용 벤치마크에서 확인한 도구 사용 능력은 Gemma-4-E2B 및 Qwen3.5-2B와 대등한 수준이다. 도구 사용은 모델이 외부 API나 함수를 호출해 실시간 정보 조회나 계산 같은 특정 작업을 수행하는 기능이다. 지시 이행 능력이 전반적으로 상승하면서 소형 모델임에도 복잡한 워크플로우를 제어하고 정확한 함수 인자를 생성하는 능력을 확보했다. 반면 InternVL 3.5 모델은 함수 호출(Function-calling) 기능을 지원하지 않는다. 이는 LFM2.5-VL-3B가 단순한 시각 정보 해석을 넘어 외부 시스템과 상호작용하며 작업을 완결 짓는 에이전트로서의 활용 가능성이 더 높다는 사실을 뒷받침한다.

vLLM부터 ONNX까지, 즉시 도입 가능한 추론 생태계

LFM2.5-VL-3B는 이미지 속 객체의 좌표를 짚어내는 객체 그라운딩(Grounding)과 디지털 문서 및 화면 UI 요소 읽기, 도구 호출 작업을 즉시 수행한다. 다국어 시각 이해와 지시 이행은 물론 시각적 수학 및 과학적 추론까지 처리 범위에 포함한다. 문서 이해와 객체 탐지, 여러 장의 이미지를 동시에 분석하는 멀티 이미지 이해와 스크린 이해 능력을 갖췄다. 실무 환경의 이미지 작업에서 체급 대비 우수한 성능을 보이며 차트나 문서 같은 디지털 콘텐츠의 텍스트 추출과 해석에 강점이 있다. 이는 단순한 이미지 캡셔닝을 넘어 화면 속의 구체적인 요소를 식별하고 조작하는 자동화 도구로 활용할 수 있는 기반이 된다.

성능 검증은 vLLM 0.26.0 추론 엔진을 통해 진행했다. vLLM은 대규모 언어 모델의 처리량을 극대화하는 고성능 추론 프레임워크다. 모든 평가는 비추론 모드(Non-reasoning mode)로 설정하여 모델이 내부적인 사고 과정 없이 즉시 정답을 출력하도록 유도했다. 벤치마크 결과의 모든 수치는 0에서 100 사이로 정규화하여 모델 간 비교 가능성을 높였다. 이러한 설정은 모델의 순수 답변 능력을 측정하고 추론 단계에서 발생하는 지연 시간을 배제하여 실질적인 응답 속도와 정확도를 확인하기 위한 장치다.

배포 편의성을 위해 llama.cpp, MLX, vLLM, SGLang, ONNX 등 주요 추론 생태계를 출시 당일부터 지원한다. llama.cpp는 C++ 기반의 경량 추론 라이브러리이며 MLX는 애플 실리콘에 최적화된 머신러닝 프레임워크다. SGLang은 구조화된 생성을 지원하는 언어이고 ONNX는 서로 다른 프레임워크 간 모델을 공유하는 개방형 포맷이다. 특정 벤더의 하드웨어에 종속되지 않고 다양한 런타임 환경에서 모델을 실행할 수 있다는 점은 기업의 인프라 비용 최적화에 기여한다. 개발자는 서버급 GPU부터 개인용 맥북까지 하드웨어 환경에 맞춰 최적의 엔진을 선택해 모델을 즉시 탑재할 수 있다.

모델은 Hugging Face에서 제공하며 최신 버전의 transformers 라이브러리가 필요하다. Hugging Face는 머신러닝 모델과 데이터셋을 공유하는 오픈소스 플랫폼이며 transformers는 허깅페이스에서 제공하는 표준 모델 라이브러리다. 설치는 아래 명령어로 수행한다.

pip install transformers>=5.0.0

라이브러리 버전 조건을 충족하면 별도의 복잡한 설정 없이 모델을 로드해 시각 작업에 투입할 수 있다. 이는 모델 배포부터 실제 서비스 적용까지의 파이프라인을 단순화하여 엔지니어의 구현 공수를 줄이는 효과를 준다.

비라틴 문자 확장과 한국 모바일 엣지 환경의 실무 의미

토크나이저(텍스트를 모델이 이해하는 최소 단위인 토큰으로 나누는 도구)의 어휘집을 기존보다 2배 늘린 128K로 확장했다. 모델 전체를 처음부터 다시 학습시키는 대신 기존 상태에서 어휘를 추가하는 인플레이스(in-place) 확장 방식을 사용했다. 이 방식으로 비라틴 문자 대응 능력을 확보했다. 한국어처럼 조합형 문자를 사용하는 언어는 토큰 효율이 낮아 동일한 의미를 전달할 때 더 많은 토큰을 소모하며 이는 곧 추론 속도 저하로 이어진다. 어휘집 확장은 한국어 문장을 더 적은 수의 토큰으로 쪼개어 처리하게 만들어 실질적인 생성 속도를 높이는 결과를 낸다.

갤럭시 S26 울트라를 포함한 최신 안드로이드 엣지 기기에서 실시간성을 확보했다. 엣지 기기는 클라우드 서버를 거치지 않고 단말 자체에서 연산을 수행하는 장치를 뜻한다. OCR(광학 문자 인식)이나 그라운딩(이미지 내 특정 객체의 위치를 좌표로 지정하는 기술)처럼 연산량이 많은 고부하 워크로드를 온디바이스 환경에서 구현할 수 있다. 이미지 캡션 생성이나 지시 이행 세트와 같은 복잡한 시각 작업이 기기 내부에서 처리된다. 특히 이전보다 4배 늘어난 비전 데이터를 학습한 결과로 이미지 내 텍스트 인식과 객체 탐지 정확도가 높아졌다. 이는 외부 네트워크 연결 없이도 모바일 기기에서 시각 정보와 텍스트를 동시에 처리하는 인텔리전스 서비스의 진입 장벽을 낮춘다.

모델 로드와 실행을 위해서는 transformers 5.0.0 이상의 라이브러리가 필요하다. 허깅페이스(Hugging Face, AI 모델 공유 플랫폼) 저장소에서 모델 식별자를 통해 가중치를 불러와 환경을 설정한다.

pip install "transformers>=5.0.0"

설치 후 파이썬 환경에서 모델을 로드하면 엣지 디바이스의 NPU(신경망 처리 장치)를 활용한 추론이 가능하다. 이 설정은 모델의 경량화된 구조를 유지하면서도 비전 인코더의 특징 추출 능력을 그대로 활용하게 한다. 특히 엣지 환경의 메모리 제약을 고려한 최적화 설정이 함께 적용된다.

엣지 디바이스의 가용 메모리가 3GB 이상 확보되고 실시간 응답 속도가 필수적인 비전-언어 서비스라면 LFM2.5-VL-3B 도입이 적절하다.