160억 파라미터와 수천만 시간의 데이터가 만든 감정 음성

AI 음성 비서와 대화하다 보면 묘한 이질감을 느낀다. AI가 텍스트를 먼저 생성한 뒤 이를 다시 음성으로 변환하는 과정에서 발생하는 미세한 지연과 부자연스러운 어조 때문이다. 이번 연구는 텍스트 변환 단계를 거치지 않고 음성 신호를 직접 처리하는 연속 확산 기반 음성 언어 모델(Continuous Diffusion Spoken Language Model, CD SLM)이 대규모 스케일링을 통해 인간에 가까운 표현력을 가질 수 있음을 증명했다.

연구진은 모델의 파라미터 규모를 16B(160억 개)까지 확장하고 수천만 시간 분량의 대화형 데이터를 학습시켰다. 학습 데이터의 규모가 임계점을 넘자 모델은 단순한 정보 전달을 넘어 화자의 감정 상태나 문장의 운율을 정교하게 재현하기 시작했다. 슬픔이나 기쁨 같은 감정 표현은 물론, 문맥에 따른 억양의 변화를 주는 운율 생성, 다중 화자의 목소리 구분, 그리고 다국어 음성 생성 능력을 동시에 확보했다. 대규모 데이터 학습이 음성의 질적 도약을 이끄는 핵심 동력임을 보여준 결과다.

음성의 언어적 품질을 객관적으로 측정하기 위해 pJSD(phoneme Jensen-Shannon divergence, 음소 젠슨-섀넌 발산) 지표를 새롭게 도입했다. pJSD는 생성된 음성의 음소 분포가 실제 인간의 음성 분포와 얼마나 일치하는지를 계산해 언어적 정확도를 측정하는 방식이다. 연구진은 이 지표를 통해 모델의 파라미터와 데이터 양이 증가함에 따라 음성 품질이 단순히 좋아지는 것이 아니라, 특정 법칙에 따라 체계적으로 향상된다는 사실을 확인했다. 이는 음성 모델의 성능 개선을 운에 맡기지 않고 수치로 예측하며 설계할 수 있음을 의미한다.

실무 관점에서 이는 텍스트-음성 변환(TTS)이라는 중간 단계 없는 음성-to-음성(Speech-to-Speech) 모델 구축의 가능성을 열어준다. 16B 규모의 모델과 수천만 시간의 데이터를 확보한다면, 지연 시간을 획기적으로 줄이면서도 감정이 실린 고품질 다국어 비서 서비스를 구현할 수 있다. 다만 모델 규모를 무작정 키우기보다 pJSD와 같은 언어적 품질 지표를 통해 데이터 양과 파라미터의 최적 조합을 찾는 것이 효율적인 인프라 설계의 기준이 된다. 데이터의 양이 많아질수록 모델이 학습해야 할 정보의 밀도가 달라지므로, 이를 정밀하게 측정하는 과정이 필수적이다.

이산화 병목을 없앤 연속 확산(Continuous Diffusion)의 작동

연구진은 기존의 이산 자기회귀(Discrete AR, 이전 토큰을 바탕으로 다음 토큰을 예측하는 방식) 모델이 가진 한계를 해결하기 위해 설계도를 바꿨다. 기존 방식은 연속적인 음성 신호를 쪼개어 특정 숫자로 변환하는 이산화 과정을 필수적으로 거친다. 이는 매끄러운 파동 형태의 소리를 정해진 크기의 격자무늬 칸에 강제로 밀어 넣는 작업과 같다. 이 과정에서 소리의 미세한 떨림이나 높낮이 같은 세밀한 정보가 뭉개지며 연산 효율이 급격히 떨어지는 이산화 병목 현상이 발생한다. 결국 모델은 실제 소리가 아니라 숫자로 변환된 추상적인 기호를 학습하며 실제 음성 신호와의 괴리를 겪는다.

연속 확산(Continuous Diffusion, CD) 방식은 이러한 중간 변환 단계를 완전히 생략하고 신호를 직접 처리한다. 음성 신호를 숫자로 바꾸는 대신 연속적인 수치 데이터 상태 그대로 확산 모델에 입력하는 구조다. 확산 모델은 깨끗한 음성 데이터에 단계적으로 노이즈를 추가해 완전한 무작위 상태로 만든 뒤, 이를 다시 역순으로 제거하며 원래의 신호를 복구하는 과정을 학습한다. 소리의 파형을 직접 다루기 때문에 이산화 과정에서 발생하는 정보 누락이 원천적으로 차단된다. 신호의 연속성을 유지하며 학습하므로 모델이 음성의 물리적 특성과 시간적 흐름을 더 정확하게 반영하며 생성 품질을 높인다.

그동안 음성 전용 소형 언어 모델(SLM)은 텍스트 기반 모델이나 텍스트-음성 변환 모델과 비교해 성능이 눈에 띄게 낮았다. 텍스트라는 정제된 중간 매개체가 없으면 언어적 정교함과 문맥 유지 능력을 확보하기 어려웠기 때문이다. 기존의 이산 방식으로는 텍스트 모델이 가진 효율적인 압축 능력을 음성 영역에서 그대로 재현하는 데 한계가 있었다. 연속 확산 방식은 음성 신호 자체를 효율적으로 처리함으로써 이 성능 격차를 해소하는 핵심 기제로 작동한다. 텍스트로 변환했다가 다시 음성으로 만드는 복잡한 경로를 거치지 않고도 음성 데이터만으로 고품질의 언어 능력을 구현하는 기반이 된다.

모델이 커질수록 데이터 효율은 변한다: CD SLM의 스케일링 법칙

데이터를 무작정 쏟아붓는다고 성능이 정비례하게 오르지 않아 답답했던 경험이 있을 것이다. CD SLM(연속 확산 기반 음성 언어 모델)은 검증 손실(Validation Loss)과 pJSD(음소 젠슨-섀넌 발산, 음성 언어의 품질을 측정하는 지표) 모두에서 예측 가능한 스케일링 법칙을 따른다. 이는 모델 크기와 연산량을 늘렸을 때 성능이 얼마나 개선될지 수학적으로 예측할 수 있음을 의미한다. 기존의 음성 전용 모델들이 개발자의 경험이나 반복적인 실험을 통한 튜닝에 의존했다면, 이제는 정해진 법칙에 따라 컴퓨팅 자원을 배분하는 정교한 설계가 가능하다.

연산량이 증가할수록 최적의 토큰-파라미터 비율(token-to-parameter ratio, 모델 파라미터 하나당 학습에 필요한 토큰의 양)은 점차 감소하는 경향을 보인다. 모델의 덩치가 커질수록 상대적으로 적은 양의 데이터로도 효율적인 학습이 가능하다는 뜻이다. 이러한 패턴은 텍스트 기반의 AR(자기회귀, 이전 데이터를 바탕으로 다음 데이터를 예측하는 방식) 모델이 보여준 스케일링 동작 방식과 매우 유사하다. 음성 신호를 직접 처리하는 연속 확산 방식 역시 텍스트 모델처럼 규모의 경제가 작동하며, 규모가 커질수록 데이터 효율성이 변하는 지점이 명확히 존재한다는 점을 확인했다.

실무 관점에서 이는 학습 인프라 설계의 우선순위를 결정하는 핵심 근거가 된다. 가용 연산 자원이 풍부한 환경이라면 데이터 수집과 정제에 과도한 비용과 시간을 쓰는 대신, 모델의 파라미터 규모를 키우는 것이 더 효율적인 성능 향상 경로가 된다. 목표로 하는 언어적 품질인 pJSD 수치에 도달하기 위해 필요한 파라미터 수와 데이터 양을 사전에 계산해 학습 경로를 짤 수 있기 때문이다. 무조건적인 데이터 확장이 아니라, 투입 가능한 총 연산량에 맞춘 최적의 파라미터 비율을 설정하는 것이 학습 효율을 결정하는 실질적인 판단 기준이다.

특히 이 법칙은 모델 규모를 확장할 때 데이터 양과 파라미터 크기 중 어디에 가중치를 둘지 결정하는 가이드라인이 된다. AR 모델과 유사한 스케일링 특성을 갖췄기에, 기존 LLM 학습 경험이 있는 엔지니어라면 CD SLM의 성능 예측치도 빠르게 잡을 수 있다. 데이터 확보가 어려운 특수 도메인 음성 모델을 구축할 때, 모델 크기를 키워 데이터 부족분을 상쇄할 수 있는지 판단하는 정량적 지표로 활용 가능하다.

추론 속도 개선의 가능성과 여전한 숙제 '장기 일관성'

서비스 배포 직전 모델 크기를 줄여 응답 속도를 높이려다 성능이 급락해 곤혹스러웠던 경험이 있을 것이다. 이번 연구에서는 높은 연산량 구간에 진입하면 손실(Loss) 값이 데이터 양이나 모델 크기 선택에 덜 민감하게 반응한다는 사실을 확인했다. 보통은 모델 파라미터를 조금만 줄여도 성능이 눈에 띄게 떨어지지만, 충분한 연산 자원을 투입한 고성능 구간에서는 이러한 민감도가 현저히 낮아진다. 실무자 관점에서는 성능 손실을 최소화하면서도 추론 속도를 획기적으로 높일 수 있는 최적화 여지가 매우 크다는 점이 핵심이다.

연구진은 이러한 특성을 활용해 성능 저하 없이 더 빠른 추론(Fast Inference)이 가능함을 확인했다. 특히 연산량이 증가할수록 최적 성능 지점 주변의 곡률이 낮아지며, 모델 크기와 데이터셋 규모를 약 100배 범위까지 넓게 조정해도 최적 손실 값에 근접한 성능을 유지할 수 있다. 이는 하드웨어 제약이나 실시간 응답 요구 수준에 맞춰 모델 규모를 유연하게 선택할 수 있는 효율적인 추론 경계선을 제공한다. 결과적으로 고성능 모델을 구축한 뒤에는 서비스 환경에 맞춰 파라미터와 데이터 할당량을 조정함으로써 지연 시간을 줄이는 전략이 매우 유효하다.

다만 모든 문제가 해결된 것은 아니며 장문 생성 시의 일관성(Long-form coherence) 확보는 여전히 중요한 도전 과제로 남았다. 짧은 대화나 단문 생성에서는 높은 품질을 보이지만, 대화가 길어질수록 초기 설정이나 전체 맥락을 유지하는 능력이 떨어진다는 한계가 명확하다. 모델 규모를 160억 개 파라미터까지 확장하고 수천만 시간의 대화형 데이터를 학습시켰음에도 불구하고, 긴 호흡의 음성 생성에서 일관성을 유지하는 것은 별개의 문제였다. 이는 단순히 모델 크기를 키우는 스케일링만으로는 해결되지 않는 지점이 있음을 보여준다.

따라서 음성-to-음성 모델을 실제 비서 서비스나 고객 응대 시스템에 적용하려는 팀은 두 가지 판단 기준을 가져야 한다. 우선 고성능 구간에서 모델 크기와 데이터 양의 선택지가 넓어진다는 점을 이용해, 타겟 디바이스의 메모리 한계 내에서 최대 속도를 낼 수 있는 파라미터 규모를 먼저 설정한다. 그 다음으로 장기 일관성 부족 문제를 해결하기 위해, 모델 내부의 스케일링에만 의존하지 않고 외부 메모리나 맥락 제어 기법을 결합하는 워크플로를 설계해야 한다. 추론 속도는 최적화가 가능하지만, 긴 대화의 맥락 유지는 여전히 추가적인 엔지니어링이 필요한 영역이다.

한국어 음성 에이전트 실무자가 주목해야 할 '텍스트리스' 접근법

AI와 대화할 때 텍스트가 화면에 먼저 출력되고 잠시 뒤에 음성이 들리는 지연 시간은 사용자 경험을 해치는 고질적인 문제다. 텍스트-음성 변환 단계를 완전히 제거한 음성 전용 모델은 이러한 지연 시간을 물리적으로 단축한다. 기존의 텍스트 생성 후 음성 합성 방식은 거대언어모델의 텍스트 생성 시간과 음성 합성 엔진의 처리 시간이 각각 합산되어 응답 속도가 늦어질 수밖에 없다. 텍스트리스(Textless) 접근법은 음성 신호를 직접 처리하여 입력부터 출력까지의 경로를 단순화함으로써 실시간성에 가까운 응답 속도를 구현한다.

160억 개(16B) 파라미터 규모의 모델에 수천만 시간의 대화형 데이터를 학습시키면 감정과 운율이 살아있는 다국어 음성 생성이 가능하다. 한국어는 어조와 끝맺음의 미세한 차이에 따라 의미가 크게 변하는 언어이므로 텍스트로 변환하는 과정에서 손실되는 비언어적 뉘앙스를 보존하는 것이 핵심이다. 고품질 고객 응대 서비스나 개인 비서 에이전트 구축 시 이러한 특성을 활용하면 기계적인 낭독이 아닌 실제 사람과 유사한 호흡의 상호작용이 가능하다. 다중 화자 처리 능력까지 결합하면 다양한 국적의 사용자가 섞인 환경이나 복잡한 상담 시나리오에서도 화자 간의 특성을 유지하며 자연스러운 대화를 이끌 수 있다.

인프라 설계 시 연산량이 증가할수록 최적의 토큰-파라미터 비율(token-to-parameter ratio, 모델 파라미터 대비 학습 토큰 수의 비율)이 감소하는 경향을 고려해야 한다. 높은 연산량 구간에 진입하면 검증 손실(Validation Loss, 모델이 학습 데이터 외의 데이터에 대해 얼마나 정확한지 측정하는 지표) 값이 데이터 양이나 모델 크기 선택에 덜 민감하게 반응하는 특성을 보인다. 이는 특정 임계치 이상의 연산 자원을 투입했을 때 성능 저하를 최소화하면서도 추론 속도를 획기적으로 높일 수 있는 최적의 지점이 존재함을 보여준다. 무작정 데이터 양을 늘려 학습 시간을 키우기보다 파라미터 효율성을 높이는 방향으로 자원을 배분하는 것이 빠른 추론(Fast Inference) 환경을 구축하는 실무적 판단 기준이 된다.

텍스트 변환 단계를 완전히 걷어낸 음성-to-음성 모델의 성패는 결국 데이터와 파라미터의 정교한 균형에 달려 있다. 무작정 모델 규모를 키우기보다 연산량 증가에 따라 최적의 토큰-파라미터 비율이 감소한다는 사실을 활용해 추론 속도를 확보하는 것이 실무적인 지름길이다.

이제는 단순한 데이터 확보 경쟁에서 벗어나 검증 손실과 pJSD 지표를 기준으로 모델 크기를 결정하는 정량적 판단 체계를 세워야 한다. 한정된 자원을 어디에 우선 배분하느냐가 서비스의 응답 속도와 사용자 경험의 질을 결정한다.