오픈 웨이트 기반의 364M 파라미터 Magpie TTS 공개

모든 음성 상호작용은 오디오 캡처, 전사, LLM 추론, 응답 생성으로 이어지는 제한된 지연 시간 예산(Latency Budget) 내에서 작동한다. NVIDIA는 이 파이프라인의 최종 단계인 텍스트-음성 변환(TTS)의 병목을 해결하기 위해 364M 파라미터 규모의 오픈 웨이트 모델인 Magpie TTS를 공개했다. 개발자는 모델의 가중치 값이 공개된 오픈 웨이트 방식을 통해 모델을 자체 서버에 직접 설치하고 운영할 수 있다. 운영 최적화 추론 스택인 NVIDIA NIM을 활용하면 개발자는 모델을 자체 인프라에 배포하여 워크로드 특성에 맞는 지연 시간을 직접 제어하고 도메인 특화 맞춤형 모델로 수정할 수 있다.

Magpie TTS는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 베트남어, 중국어, 힌디어, 일본어를 포함해 총 12개 언어를 지원한다. 이번 최신 릴리스를 통해 NVIDIA는 한국어, 현대 표준 아랍어, 브라질 포르투갈어를 지원 범위에 새롭게 추가했다. 모델은 공유 다국어 화자 표현(shared multilingual speaker representation) 기술을 적용하여 모든 지원 언어에서 남성과 여성의 목소리를 선택해 출력할 수 있도록 설계되었다. 개발자는 단일한 오픈 파운데이션 모델 위에서 여러 지역을 위한 개별 TTS 모델을 유지 관리하는 번거로움 없이 다국어 애플리케이션을 구축할 수 있다.

IPA 기반 그래핌-음소 처리와 다국어 유연성 확보

NVIDIA는 힌디어와 일본어의 코드 스위칭(code-switching, 두 개 이상의 언어를 섞어 사용하는 현상) 지원 능력을 확장하여 다국어 유연성을 높였다. 개발자는 IPA(국제음성기호) 기반의 그래핌-음소 처리(grapheme-to-phoneme) 시스템을 통해 문자를 소리 단위인 음소로 정밀하게 변환할 수 있다. 이 시스템은 맞춤형 발음 사전과 결합되어 일반적인 언어 규칙으로 처리하기 어려운 전문 기술 용어나 고유 명사의 발음을 정확하게 구현한다. 이러한 개선은 글로벌 고객 지원, 헬스케어 문서화, 리테일 자동화와 같이 다국어 대화가 필수적인 워크플로우에서 자연스러운 음성 출력을 가능하게 한다.

모델의 품질 개선은 객관적 지표인 문자 오류율(CER)과 화자 유사도(SSIM)를 통해 검증되었다. 최신 릴리스의 Magpie TTS는 이전 버전 대비 프랑스어와 스페인어에서 뚜렷한 품질 향상을 보였으며, 신규 추가 언어인 아랍어는 1.62%, 한국어는 2.69%, 브라질 포르투갈어는 2.91%의 CER을 기록했다. NVIDIA는 이 수치들을 향후 성능 고도화를 위한 기초 품질 기준점(Baseline)으로 설정했다. 개발자는 NVIDIA Build 또는 Hugging Face 데모를 통해 이러한 지표가 실제 청각적 품질로 어떻게 구현되는지 직접 확인할 수 있다.

프레임 스태킹과 로컬 트랜스포머의 상호 보완 구조

NVIDIA는 추론 시간을 단축하면서도 음성 품질을 유지하기 위해 두 가지 상호 보완적인 아키텍처 개선 사항을 도입했다. 먼저 프레임 스태킹(Frame stacking) 기술은 디코더가 한 번의 디코딩 단계에서 1개가 아닌 2개의 오디오 프레임을 동시에 예측하도록 한다. 이 방식은 디코더의 반복 횟수를 절반으로 줄여 생성 시간을 단축하고 전체적인 처리량(Throughput)을 직접적으로 상승시킨다. 물리적인 연산 횟수를 줄임으로써 실시간 음성 에이전트가 요구하는 빠른 응답성을 확보하는 것이 이 기술의 핵심이다.

프레임 스태킹을 단독으로 적용할 경우, 동시에 생성되는 코드북 토큰 사이의 의존성 문제로 인해 오디오 품질이 저하되는 현상이 발생한다. NVIDIA는 이를 해결하기 위해 로컬 트랜스포머(Local transformer) 구조를 추가하여 토큰 간의 의존성을 모델링하고 생성된 오디오를 정교하게 다듬어 품질을 복구했다. 결과적으로 프레임 스태킹이 확보한 속도와 로컬 트랜스포머가 복구한 품질이 결합되어 효율적인 추론이 가능해진다. 해당 아키텍처의 상세 내용은 ICASSP 2026에서 발표된 'Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation' 논문에 기술되어 있다.

B200 GPU 기반의 TTFA 32ms 및 고부하 처리 성능

NVIDIA는 B200 GPU 환경에서 첫 오디오 출력 시간(TTFA, Time to First Audio) 32ms라는 극소 지연 시간을 달성했다. TTFA는 음성 생성이 시작되어 사용자에게 첫 소리가 도달하기까지의 지연 시간을 의미하며, 단일 스트림 기준 NVIDIA GPU 전반에서 32~79ms의 범위를 기록했다. 이 수치는 NVIDIA TTS NIM Performance documentation v26.07을 기준으로 온프레미스 환경에서 3회 평균 측정하여 도출했다. TTS 단계에서 소모되는 시간을 극한으로 줄임으로써, 전체 엔드-투-엔드 지연 시간을 자연스러운 대화 기준인 200ms 이내로 유지하기 위한 시간적 여유를 확보했다.

고부하 환경인 64개 동시 스트림 상황에서도 B200은 TTFA 239ms를 기록하며 안정적인 응답성을 보였다. 동시에 RTFX(Real-Time Factor) 320x를 달성하여, 실제 오디오 재생 시간보다 300배 이상 빠르게 음성을 생성하는 처리 효율을 입증했다. 개발자는 최적화된 컨테이너인 NVIDIA NIM을 통해 자체 GPU에서 이 성능을 그대로 구현할 수 있다. 연구 및 파인튜닝을 위해서는 Hugging Face 체크포인트를 활용하고, 실제 서비스 배포 시에는 NIM 스택을 사용하는 경로를 통해 연구 단계에서 운영 단계로의 전환을 효율적으로 관리할 수 있다.

계단식 구조 선택을 통한 지연 시간 예산 제어 전략

음성 AI 시스템 구축 시 개발자는 통합 API 모델과 계단식 구조(Cascaded Architecture) 사이에서 선택해야 한다. 통합 API 모델은 단일 호출로 오디오 입출력을 처리하는 단순함을 제공하지만, 각 구성 요소를 도메인에 맞게 미세 조정하거나 데이터 거주지를 강제하는 능력이 제한된다. 반면 ASR, LLM, TTS를 독립적으로 연결하는 계단식 구조를 선택하면 각 계층을 개별적으로 튜닝하고 자체 인프라에 배포하여 지연 시간이 발생하는 정확한 지점을 파악하고 제어할 수 있다. 이는 외부 API 호출 시 발생하는 라운드트립 지연 시간을 제거하고 일관된 사용자 경험을 제공하는 전략적 선택지가 된다.

NVIDIA는 이러한 계단식 구조의 구현을 돕기 위해 ASR, LLM, TTS가 통합된 'NVIDIA Nemotron Voice Agent Developer Example'을 레퍼런스 구현체로 제공한다. 개발자는 이 레퍼런스를 클론하여 고객 지원 센터, 헬스케어 어시스턴트, 기업용 코파일럿 등 구체적인 비즈니스 요구사항에 맞춰 커스터마이징할 수 있다. 인프라 수준에서 성능을 직접 튜닝하는 권한은 단순히 생성 속도를 높이는 것을 넘어, 실시간 상호작용의 끊김 없는 흐름을 결정하는 기술적 토대가 된다.

결론적으로, B200 기준 TTFA 32ms, 64개 동시 스트림 시 239ms TTFA 및 320x RTFX라는 성능 벤치마크를 확보하고자 한다면 통합 API 대신 ASR-LLM-TTS로 이어지는 계단식 구조를 선택하여 지연 시간 예산(Latency Budget)을 직접 관리해야 한다.