공개 모델 사양 및 핵심 수치
PrismML이 공개한 Bonsai 27B는 Qwen3.6 27B 모델을 기반으로 추론, 도구 호출, 비전 및 컴퓨터 사용 기능을 지원하는 저비트 모델이다. 기존 27B 모델이 16비트 정밀도에서 약 54GB, 일반적인 4비트 양자화 시에도 18GB의 메모리를 요구하는 것과 달리, Bonsai 27B는 휴대폰 메모리 한도 내에서 구동 가능하도록 설계됐다.
모델은 배포 환경에 따라 두 가지 저비트 구성으로 제공된다. 첫 번째인 'Ternary Bonsai 27B'는 $\{-1, 0, +1\}$ 가중치와 FP16 그룹별 스케일링을 적용해 가중치당 실효 1.71비트를 달성했으며, 전체 크기는 5.9GB다. 두 번째인 '1-bit Bonsai 27B'는 $\{-1, +1\}$ 가중치를 사용해 가중치당 실효 1.125비트를 구현했으며, 크기는 3.9GB까지 낮췄다.
기술적 제원은 최대 262K 토큰의 문맥 창(Context Window)을 지원하며, 비전 타워는 압축된 4비트 형식으로 제공된다. 이를 통해 스크린샷, 문서, 카메라 입력을 기기 내에서 직접 처리할 수 있다. 또한 초안 생성 후 검증하는 무손실 가속 방식인 추측 디코딩(Speculative Decoding)을 지원하며, 모델 가중치는 Apache 2.0 License로 공개된다.
저비트 구현 방식과 벤치마크 성능
Bonsai 27B의 저비트 표현은 임베딩, 어텐션, MLP, LM head를 포함한 언어 네트워크 전체에 적용된다. 특정 구간을 고정밀도로 우회하지 않고 전체 네트워크에 저비트 설정을 적용한 것이 특징이다. PrismML은 이를 위해 하이브리드 어텐션 아키텍처에 최적화된 사용자 정의 저비트 커널을 제작해 Apple의 MLX(Mac, iPhone, iPad용 프레임워크)와 NVIDIA의 CUDA 환경에서 실행하도록 했다.
사고 모드(Reasoning Mode) 기반의 15개 벤치마크 평가 결과, 완전 정밀도 Qwen3.6 27B의 종합 점수 85.0점 대비 Ternary 모델은 80.5점(성능 95% 유지), 1-bit 모델은 76.1점(성능 90% 유지)을 기록했다. 영역별 세부 수치는 다음과 같다.
- 수학(GSM8K, MATH-500, AIME25, AIME26): 완전 정밀도 95.3 $
ightarrow$ Ternary 93.4 $
ightarrow$ 1-bit 91.7
- 코딩(HumanEval+, MBPP+, LiveCodeBench): 완전 정밀도 88.7 $
ightarrow$ Ternary 86.0 $
ightarrow$ 1-bit 81.9
- 에이전트·도구 호출(BFCL v3, TauBench): 완전 정밀도 80.0 $
ightarrow$ Ternary 74.0 $
ightarrow$ 1-bit 66.0
- 지시 이행(IFEval, IFBench): 완전 정밀도 78.4 $
ightarrow$ Ternary 71.8 $
ightarrow$ 1-bit 65.8
- 지식·STEM(MMLU-Redux, MuSR): 완전 정밀도 83.1 $
ightarrow$ Ternary 77.0 $
ightarrow$ 1-bit 73.4
- 비전(MMMU Pro, OCRBench): 완전 정밀도 72.6 $
ightarrow$ Ternary 65.2 $
ightarrow$ 1-bit 59.6
추론 속도는 하드웨어에 따라 차이가 있다. NVIDIA GeForce RTX 5090 기준 1-bit 모델은 최대 163 tok/s, Ternary 모델은 134 tok/s를 기록했다. Apple M5 Max에서는 1-bit 모델 87 tok/s, Ternary 모델 58 tok/s의 속도를 보였다. 특히 1-bit 모델은 GB당 지능 밀도 0.53을 기록하며, 완전 정밀도 기준보다 10배 이상, 기존 저비트 대안보다 약 2.7배 높은 효율을 나타냈다.
실무 도입 시 고려사항 및 운영 영향
개발자가 온디바이스 배포 시 가장 먼저 확인해야 할 지표는 기기의 실효 가용 메모리다. 예를 들어 12GB 메모리를 탑재한 iPhone이라도 앱이 실제로 사용할 수 있는 메모리는 약 6GB 수준으로 제한된다. 이 한도 내에는 모델 가중치뿐 아니라 KV 캐시와 활성값이 모두 포함되어야 한다. 3.9GB 크기의 1-bit Bonsai 27B는 이러한 메모리 예산을 충족하면서도 작업 수행을 위한 여유 공간을 확보할 수 있는 설계다.
에이전트 워크플로 구현 관점에서는 API 호출 구조의 변화가 핵심이다. 기존 클라우드 기반 에이전트는 수백 번의 반복 호출 과정에서 토큰 비용이 누적되고, 개인 파일이나 화면 데이터가 네트워크를 통해 전송되는 보안 리스크가 있었다. Bonsai 27B를 로컬에 배치하면 100단계 이상의 루프 작업에서도 추가 호출 비용이 발생하지 않으며, 모든 데이터가 기기 내에서 처리된다.
실무자는 이를 바탕으로 하이브리드 아키텍처를 설계할 수 있다. 민감한 데이터 처리나 단순한 단계별 계획 수립은 로컬 모델이 담당하고, 고도의 추론이 필요한 핵심 단계만 클라우드 프런티어 모델로 전송하는 방식이다. 이는 전체 시스템의 작업당 비용을 낮추는 동시에 응답 지연시간을 줄이는 운영 전략이 된다.
