1인 개발자 Y씨는 최근 거대 언어 모델을 개인 서버에 올릴 때마다 겪는 메모리 부족 문제로 고민이 깊다. 수조 개의 파라미터를 가진 모델을 전부 구동하는 것은 비용과 자원 측면에서 비효율적이기 때문이다. 이런 곤란을 겪는 개발자가 늘고 있다.

EMO의 구조와 성능 지표

이번에 공개된 EMO(데이터로부터 모듈 구조가 스스로 학습되는 혼합 전문가 모델)는 1조 개의 토큰으로 사전 학습된 모델이다. 이 모델은 총 140억 개의 파라미터를 가지고 있으며, 128개의 전문가 중 8개를 활성화하는 구조를 취한다. 핵심은 전체 전문가의 12.5%만 사용하더라도 전체 모델을 모두 사용할 때와 거의 동일한 성능을 유지한다는 점이다. EMO 논문에 따르면, 특정 도메인이나 작업에 필요한 전문가 그룹만을 선택적으로 구성할 수 있어 범용 모델로서의 강점과 효율적인 배포라는 두 마리 토끼를 잡았다.

기존 MoE와의 차이점

예전에는 MoE(입력 토큰마다 필요한 전문가 네트워크만 활성화하는 방식) 모델이라 하더라도, 실제로는 모든 전문가가 골고루 활성화되어 전체 모델을 메모리에 올려야 했다. 기존 방식에서는 전문가들이 문법이나 구두점 같은 저수준 패턴에만 반응할 뿐, 수학이나 생물학 같은 고수준 도메인별로 전문화되지 않았기 때문이다. 이제는 EMO가 문서 단위로 전문가를 할당하는 방식을 도입했다. 문서 내의 모든 토큰이 동일한 전문가 풀을 공유하도록 강제함으로써, 특정 도메인에 특화된 전문가 그룹이 학습 과정에서 자연스럽게 형성되도록 유도한다.

로드 밸런싱과 구현 전략

개발자가 바로 체감하는 변화는 전문가 선택의 일관성이다. 기존 MoE는 마이크로 배치 단위로 로드 밸런싱(전문가 부하 분산)을 수행하여 전문가가 특정 문서에 쏠리지 않게 방해했다. 하지만 EMO는 로드 밸런싱을 전역적으로 적용하여, 문서 내에서는 전문가 사용을 일관되게 유지하면서도 전체적으로는 부하가 균형을 이루도록 설계했다. 이를 통해 사용자는 수학, 코드, 생물학 등 특정 도메인에 맞춰 필요한 전문가 서브셋만 골라내는 조합형 아키텍처를 구현할 수 있게 되었다.

모델의 모듈화는 이제 인간의 사전 정의 없이 데이터가 직접 결정하는 시대가 되었다.