facts

이번에 공개된 TurboFieldfare는 Apple Silicon(arm64) Mac 환경에서 Gemma 4 26B-A4B 인스트럭션 튜닝 모델을 구동하기 위한 전용 엔진이다. MLX나 llama.cpp의 래퍼가 아닌 Swift와 Metal로 작성된 독립적인 런타임이며, 8GB 램을 탑재한 하위 M 시리즈 모델에서도 260억 파라미터 모델을 실행할 수 있도록 설계됐다. 모델 구동에 필요한 메모리 예산은 약 2GB로 제한된다.

제공되는 인터페이스는 네이티브 Mac 앱, 명령줄 인터페이스(CLI), 그리고 실험적인 루프백 OpenAI 호환 서버 세 가지다. 서버는 `http://127.0.0.1:8080/v1` 주소에서 Chat Completions, 스트리밍, 함수 도구(Function Tools) 호출을 지원한다. 단, 이미지, 오디오, 비디오 처리는 지원하지 않는 텍스트 전용 엔진이다.

모델 배포 방식은 `.gturbo`라는 전용 레이아웃을 사용한다. 설치 프로그램은 Hugging Face의 특정 리비전에서 필요한 바이트 범위만 스트리밍하여 직접 리패킹하며, 최종 설치된 모델 크기는 약 14.3GB다. 설치 과정에서 전체 체크포인트를 디스크에 중복 생성하지 않아 저장 공간 낭비를 줄였다.

how-it-works

작동 방식의 핵심은 모델 전체를 메모리에 상주시키지 않고 필요한 부분만 불러오는 '전문가 스트리밍' 구조에 있다. 런타임은 1.35GB 크기의 공유 코어(Shared Core)와 FP16 KV 캐시만 메모리에 유지한다. 이후 각 토큰 생성 시점에 필요한 전문가(Expert) 가중치만을 SSD에서 실시간으로 읽어 들인다.

추론 파이프라인은 CPU와 Metal GPU의 역할을 엄격히 분리한다. 각 트랜스포머 레이어에서 Metal이 어텐션과 라우터를 계산하면, CPU는 라우터가 선택한 상위 8개 전문가 ID를 바탕으로 16슬롯 규모의 LFU(Least Frequently Used) 캐시 계획을 세운다. 캐시 미스 발생 시 `pread` 호출을 통해 Metal 가시 버퍼로 가중치를 병렬 로드하며, 이 읽기 작업이 진행되는 동안 Metal은 이미 메모리에 있는 공유 전문가 분기를 먼저 계산해 처리 지연을 최소화한다.

프롬프트 프리필(Prefill) 단계에서는 최대 128개 토큰을 청크 단위로 처리해, 한 번 가져온 전문가 가중치가 여러 행의 계산에 재사용되도록 효율을 높였다. 벤치마크의 경우 커널, 캐싱, I/O, 프리필 및 디코드 성능에 대해 103개의 측정 결과를 기록했으며, 이는 하드웨어와 페이지 캐시 상태에 따라 변동되는 참조 지표로 제시된다.

설치 및 실행을 위한 기본 명령어는 다음과 같다.

bash

저장소 복제 및 빌드

git clone https://github.com/andrey-mikhaylov/TurboFieldfare.git

cd TurboFieldfare

swift build -c release

CLI를 통한 모델 설치

./.build/release/turbo-cli install

메시지 파일을 이용한 추론 실행

./.build/release/turbo-cli run --messages-file messages.json

implementation-impact

운영 환경에서 주의할 점은 메모리 압박 상태다. 런타임 실행 전 `memory_pressure -Q` 명령어로 가용 메모리를 확인해야 하며, 메모리 점유율이 높은 앱이 실행 중일 경우 구동을 지연시켜야 한다. 또한 TurboFieldfare의 앱, CLI, 서버, 테스트 도구 중 한 번에 하나만 실행해야 모델 소유권 충돌을 방지할 수 있다.

개발자는 8GB 램의 저사양 Mac에서 26B 규모의 모델을 테스트해야 할 때, 추론 속도(Throughput)보다 모델의 추론 능력 자체를 검증하는 용도로 이 도구를 선택해야 한다. SSD I/O 속도가 전체 토큰 생성 속도를 결정하는 병목 지점이 되므로, 실시간 서비스보다는 온디바이스 환경에서의 모델 동작 가능 여부와 결과값의 정확도를 확인하는 기준점으로 활용하는 것이 적절하다.