Hy3 공개 제원 및 핵심 수치
Tencent Hy Team이 50여 개 제품 팀의 피드백을 반영한 정식 모델 Hy3를 공개했다. Hy3는 MoE(Mixture-of-Experts, 전문가 혼합 방식) 구조를 채택해 전체 파라미터 규모는 295B(2,950억 개)에 달하지만, 실제 추론 시 연산에 참여하는 활성 파라미터는 21B(210억 개)로 제한해 추론 비용과 지연 시간을 낮췄다.
모델의 세부 사양은 80개의 레이어와 3.8B(38억 개) 규모의 MTP(Multi-Token Prediction, 다중 토큰 예측) 레이어 1개로 구성된다. GQA(Grouped Query Attention, 그룹화된 쿼리 주의 집중) 기술이 적용된 64개의 어텐션 헤드를 갖췄으며, 어휘 사전 크기는 120,832개다. 특히 컨텍스트 길이를 256K(25만 6천 토큰)까지 지원해 대규모 코드베이스나 장문 문서 처리 능력을 확보했다. 라이선스는 Apache 2.0을 따라 상업적 이용이 가능하다.
모델 설치와 다운로드는 다음 명령어를 통해 수행한다.
pip install huggingface_hub
huggingface-cli download tencent/Hy3MoE 구조와 추론 메커니즘 및 성능 검증
Hy3의 작동 방식은 총 192개의 전문가(Expert) 중 상위 8개만을 활성화하는 구조에 기반한다. 여기에 추가된 3.8B 규모의 MTP 레이어는 다음 토큰 예측의 정확도를 보강하는 역할을 한다. 개발팀은 RL(Reinforcement Learning, 강화 학습) 훈련 규모를 확대하고 사후 학습 데이터의 다양성을 높여 복잡한 작업 단계 설계 및 실행 능력을 개선했다.
성능 검증을 위해 270명의 전문가가 참여한 블라인드 테스트를 진행한 결과, Hy3는 4점 만점에 2.67점을 기록하며 GLM-5.1의 2.51점을 상회했다. 세부 분야별로는 프론트엔드 개발, CI/CD(Continuous Integration/Continuous Deployment, 지속적 통합 및 배포), 데이터 및 스토리지 관리 영역에서 상대적 우위를 보였다.
특히 프로덕션 환경의 제약 사항인 도구 호출(Tool Calling)의 안정성을 개선했다. 잘못된 호출로 인해 발생하는 무한 루프 현상을 줄였으며, 복잡한 제약 조건이 주어진 상황에서도 일관된 JSON 형식을 출력하도록 처리 방식을 최적화했다.
실무 도입 시 고려사항 및 배포 환경
개발자가 Hy3를 실제 서비스에 적용할 때 주목해야 할 지점은 추론 엔진의 선택과 출력 제어권이다. Hy3는 고성능 LLM 추론 엔진인 vLLM이나 구조화된 언어 생성 프레임워크인 SGLang을 통해 배포할 수 있어 대규모 서비스 환경에서 유연한 대응이 가능하다.
모델의 기본 추론은 다음과 같은 Python 코드로 구현한다.
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("tencent/Hy3")
model = AutoModelForCausalLM.from_pretrained("tencent/Hy3", device_map="auto", torch_dtype="auto")
inputs = tokenizer("Explain the concept of MoE in LLMs", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))실무자는 단순 벤치마크 점수보다 에이전트 워크플로우에서의 JSON 출력 준수율과 도구 호출의 신뢰도를 기준으로 도입 여부를 판단해야 한다. 특히 인프라 구축 및 배포 과정의 코드 정확도가 요구되는 CI/CD 및 프론트엔드 개발 파이프라인에서 활용도가 높다.
