발표에서 확인된 핵심 사실

클라우드 인프라를 통해서만 가능했던 에이전트 워크로드가 고사양 Mac 및 PC와 같은 소비자용 하드웨어에서 직접 실행되는 구조로 변경된다. Meta가 공개한 Muse Glimmer는 300억(30B) 개의 파라미터를 가진 오픈 웨이트(Open-weight, 모델 가중치 공개) 모델이다. 기존에 클라우드 인프라에 의존해야만 했던 에이전트 워크로드를 소비자용 하드웨어에서 직접 처리할 수 있도록 설계하여 실행 환경의 제약을 낮췄다.

학습 체계는 상위 모델인 Muse Spark의 출력을 이용한 로짓 증류(Logit distillation, 모델의 출력 확률 분포를 학습하는 방식) 사전 학습으로 시작되었다. 이후 더 풍부한 추론 경로를 포함한 에이전트 중심의 긴 컨텍스트 데이터를 활용해 중간 학습을 수행했다. 최종 단계인 포스트 트레이닝에서는 지도 미세 조정(SFT, Supervised Fine-Tuning)과 온-폴리시 증류, 강화 학습(RL, Reinforcement Learning)을 적용했다. 이러한 학습 과정은 일반, 추론, 코딩, 에이전트라는 네 가지 도메인 전반에 걸쳐 진행되었다.

약 296억 개의 파라미터를 가진 밀집 인

296억 개의 파라미터와 52개의 레이어로 구성된 밀집 인과 트랜스포머(dense causal transformer, 이전 데이터를 바탕으로 다음 토큰을 예측하는 구조) 방식이 채택됐다. 약 18억 개의 파라미터를 가진 ViT-G/14(Vision Transformer-Giant, 이미지 인식용 신경망) 인식 인코더를 통해 텍스트와 이미지가 교차 배치된 인터리브(interleaved) 입력을 처리한다. 100개 이상의 언어와 131,072개 이상의 토큰 컨텍스트 길이를 지원한다. 대규모 파라미터와 확장된 컨텍스트 창을 통해 복잡한 멀티모달 데이터를 수용한다.

계획 수립, 도구 호출, 결과 해석, 작업 지속, 오류 복구로 이어지는 에이전트 운영 시퀀스를 중심으로 학습이 진행됐다. 단순 챗봇 기능을 넘어 자율 에이전트가 수행하는 일련의 작업 흐름에 최적화된 설계다. 시스템 프롬프트를 통해 추론 강도를 low, medium, high, xhigh 4단계로 조절할 수 있다. 작업 단계별 정밀 제어로 에이전트의 실행 안정성을 높였다.

4비트 양자화를 통해 소비자용 GPU(VRAM

전정밀도(full precision) 시 55GB 이상의 메모리가 필요한 가중치를 4비트 양자화로 20GB 미만까지 압축했다. 모델 가중치를 줄여 고성능 소비자용 GPU에서 모델을 직접 구동할 수 있는 환경을 구축했다. 24GB VRAM을 탑재한 Nvidia RTX 3090과 RTX 4090은 K-Quant-17GB 설정을 통해 단일 그래픽카드에서 실행 가능하다. 32GB VRAM의 RTX 5090이나 32GB 이상의 메모리를 가진 Mac 환경은 K-Quant-Dynamic 버전이 대응한다.

Muse Glimmer(뮤즈 글리머)는 업계 표준인 Apache 2.0 오픈 소스 라이선스로 제공된다. 4월에 출시된 폐쇄형 모델 Muse Spark(뮤즈 스파크) 이후 Meta(메타)가 내놓은 첫 번째 완전 개방형 릴리스다. Llama(라마) 시리즈의 커뮤니티 라이선스보다 더 허용적인 조건을 갖췄다. 월간 활성 사용자 수(MAU) 7억 명 제한과 같은 제약 없이 상업적 이용과 모델 수정, 재배포가 무제한으로 가능하다.

RTX 3090이나 4090의 24GB VRAM 환경에서는 K-Quant-17GB를, RTX 5090이나 32GB 이상의 Mac 환경에서는 K-Quant-Dynamic 버전을 선택하는 것이 최적이다.