발표에서 확인된 핵심 사실

iPhone 17의 RAM 2.5GB만으로 35B 규모의 대형 언어 모델을 네이티브로 구동하는 환경이 구축됐다. 온디바이스 AI 구현을 위해 고사양 하드웨어 제약에 부딪혔던 개발자들은 이제 모델 선택의 기준을 다시 설정해야 한다. 해당 클래스의 모델이 스마트폰에서 네이티브로 실행된 첫 사례로 기록되며 하드웨어 진입 장벽을 낮췄다.

이러한 실행 환경을 제공하는 핵심 기술은 Swiftlet(Swift와 Metal 기반 런타임)이다. Swiftlet은 Qwen3-Next 및 Qwen3.5/3.6 MoE(Mixture-of-Experts, 전문가 혼합) 하이브리드 모델 제품군을 위해 설계된 전용 런타임이다. 이 런타임을 통해 iPhone을 포함한 일반적인 Apple 기기에서 35B 및 80B 규모의 Qwen 모델을 구동하며 대규모 모델의 로컬 실행 범위를 확장한다.

기기별 자원 점유율과 성능 수치는 구체적이다. Mac에서는 80B 모델을 4.3GB RAM만으로 실행하며, iPhone 17에서는 35B 모델이 약 2.5GB RAM을 사용해 초당 약 1토큰(1 tok/s)의 속도로 작동한다. 대규모 모델 구동에 필요한 메모리 요구량을 극단적으로 낮춤으로써 일반 사용자 기기에서도 고성능 모델을 네이티브로 실행하는 경로를 확보했다.

모델의 작은 dense core만 메모리에 유지하고 MoE

토큰당 약 3B의 파라미터만 활성화하여 대형 모델의 생성 능력과 소형 모델의 메모리 점유율을 동시에 확보한다. 모델의 작은 dense core(전체 파라미터가 공유하는 핵심 연산부)만 메모리에 상주시키고, 나머지 Mixture-of-Experts(MoE, 입력값에 따라 필요한 전문가 네트워크만 선택적으로 사용하는 구조) 가중치는 저장소에서 온디맨드로 스트리밍한다. 라우팅된 MoE 가중치를 필요할 때마다 저장소에서 실시간으로 불러와 연산에 투입하는 방식을 사용한다. 이 메커니즘을 통해 채팅이나 글쓰기 같은 생성 작업은 대형 모델처럼 수행하지만, 내부 지식을 인출하는 사실 회상 능력은 소형 모델과 유사한 특성을 보인다. 활성화되는 파라미터 수를 최소화해 메모리 효율을 극대화한 결과다.

실제 구동 환경은 iPhone의 Priv AI(온디바이스 AI 실행 앱)를 통해 확인 가능하다. App Store에서 앱을 내려받은 뒤 설정의 'Experimental Models' 메뉴에서 모델을 다운로드하면 서버를 거치지 않는 온디바이스 채팅 환경이 구성된다. 해당 앱은 오픈 소스로 공개되어 있으며, `leonickson1/localLLM` 소스 코드를 활용해 사용자가 직접 모델을 빌드하고 실행하는 환경을 구축할 수 있다.

확인해야 할 핵심 지점

메모리 효율을 최우선으로 고려하는 개발자는 레이어의 75%에 적용된 Gated DeltaNet(게이티드 델타넷, 선형 어텐션 메커니즘)에 주목해야 한다. 이 구조는 고정 크기의 recurrent state를 활용해 컨텍스트 길이가 늘어나도 KV 캐시가 증가하지 않도록 제어한다. 입력 데이터의 양과 상관없이 메모리 점유율을 일정하게 유지하며 추론 시 발생하는 메모리 병목을 해결한다. 기존 어텐션 구조의 한계를 선형 어텐션으로 대체해 메모리 사용량을 상수로 고정함으로써 긴 문맥 처리 시의 안정성을 확보하는 설계다.

실제 구동을 위해서는 Apple Silicon 하드웨어와 macOS 14+ 또는 iOS 17+ 이상의 운영체제가 필수적이다. 모델 크기에 따라 요구되는 SSD 여유 공간이 다르며 35B 모델은 18GB, 80B 모델은 42GB를 확보해야 한다. 하드웨어 제약 조건과 저장 공간을 먼저 확인한 뒤 배포 환경을 설정한다. 이는 모델의 가중치 데이터를 저장하고 불러오는 컨테이너 공간을 확보하기 위한 최소 요구사항이며 하드웨어 가속 기능을 활용하기 위한 전제 조건이다.

RAM 제약이 심한 모바일 환경에서 MoE(Mixture of Experts, 전문가 혼합) 모델을 올릴 때는 추론 속도 1 tok/s와 3B 수준의 지식 회상 능력 사이의 트레이드오프를 기준으로 모델 규모를 결정한다.