14MB 모델이 구현하는 저사양 기기의 도구 호출

4500만 개의 파라미터를 가진 14MB 규모의 오픈 모델 'Needle 2'가 공개됐다. 이 모델은 GPU나 NPU가 없고 RAM 용량이 수백 MB에 불과한 200달러 미만의 저가형 하드웨어를 타깃으로 한다. 일반적인 채팅용 LLM이 수십억 개의 파라미터를 필요로 하는 것과 달리, Needle 2는 사용자의 문장을 특정 함수(Function)와 매개변수로 매핑하는 '도구 호출(Tool Calling)'과 '구조화된 추출'에만 집중해 크기를 대폭 줄였다.

구동 효율을 위해 2비트 양자화 기술인 'Cactus Quants'를 사전 학습부터 사후 학습까지 전 과정에 적용했다. 이를 통해 모델의 성능 저하를 최소화하면서 용량을 14MB까지 압축했다. 배포 형태는 의존성 없는 단일 C++ 바이너리로 제공되며, 실행 시 CPU를 자동으로 탐색해 최적의 커널(SDOT, NEON, AVX2 등)을 선택한다. 메모리 시스템은 256토큰 슬라이딩 윈도우 방식을 채택해 세션 길이에 상관없이 RAM 사용량을 최대 28MB로 고정했다.

'에지 AI'의 범위를 PC에서 IoT 기기로 확장

그동안 에지 AI(Edge AI)의 주류는 맥(Mac)이나 PC 같은 고성능 기기였다. 하지만 실제 연결된 IoT 기기는 210억 대에 달하며, 신흥 시장의 스마트폰 상당수는 200달러 미만으로 출하된다. Needle 2는 이러한 저가형 하드웨어 시장에서 AI 에이전트를 구현하려는 채택 흐름을 보여준다. 세상에 대한 방대한 지식(World Knowledge)을 담는 대신, 기기가 가진 기능을 정확히 실행하는 '에이전트적 능력'에만 자원을 배분한 전략이다.

운영 방식은 에지와 클라우드의 협업 구조를 따른다. 모델이 응답할 때마다 학습된 신뢰도 점수(Confidence Score)를 함께 내놓으며, 점수가 임계값보다 낮거나 주제를 벗어난 요청일 경우에만 클라우드로 요청을 에스컬레이션(Escalation)한다. 일상적인 기기 제어는 로컬에서 즉시 처리해 프라이버시를 보호하고 비용을 없애며, 복잡한 작업만 클라우드에 맡기는 효율적 분배 모델을 지향한다.

실제 적용 사례로는 웨어러블 기업 페블(Pebble)의 Index 01 앱이 있다. 화면이 없는 '페블 인덱스 링(Pebble Index Ring)'에서 사용자의 음성 요청을 네트워크 연결 없이 즉각적인 동작으로 변환하는 데 Needle 2가 사용된다.

한국 AI 실무자가 주목할 도입 조건과 제약

하드웨어 제약이 심한 환경에서 AI를 구현해야 하는 개발자라면 ESP32-P4(32MB PSRAM 탑재)나 STM32H7 같은 마이크로컨트롤러(MCU) 급 부품에서도 LLM 구동이 가능하다는 점을 확인해야 한다. 특히 Needle 2는 Apache 2.0 라이선스로 공개되어 상업적 이용이 자유롭고, 4500만 개의 작은 규모 덕분에 일반 PC나 맥에서 몇 분에서 몇 시간 내에 특정 도구 어휘(Tool Vocabulary)에 맞춰 파인튜닝(Fine-tuning)할 수 있다.

다만, 이 모델은 범용 LLM이 아니라는 점을 명확히 인지해야 한다. 학습 데이터가 스마트홈, 모바일, 웨어러블 등 소비자 기기 동작에 집중되어 있어, 자바(Java)나 자바스크립트(JavaScript) 같은 기업용 API 호출이나 복잡한 일반 상식 답변에서는 성능 한계가 나타난다. 따라서 범용 챗봇이 아니라, 정의된 스키마 내에서 정확하게 값을 추출하거나 기기를 제어하는 '특수 목적형 에이전트'를 설계할 때 유효한 선택지가 된다.

실무적으로는 모델의 신뢰도 점수를 기준으로 로컬 처리와 클라우드 호출의 경계를 설정하는 임계값 튜닝이 도입의 핵심 관전 포인트가 될 것이다.