4,888명의 화자와 인도 첫 공식 언어, Monsoon의 등장

기존의 ASR(자동 음성 인식) 벤치마크가 평균 단어 오차율이라는 단일 지표에 의존할 때, 실제 사용자 환경에서는 특정 화자군에 대해 2배 이상의 성능 격차가 발생하는 불균형이 확인되었다. 이러한 성능 격차를 해소하기 위해 Open ASR Leaderboard는 인도 영어(en-IN)와 힌디어(hi-IN)를 포함한 Monsoon 데이터셋을 새롭게 도입했다. 힌디어는 기존에 유럽어 위주로 구성되어 있던 다국어 탭에 추가된 첫 번째 인도 계열 언어라는 점에서 의미가 있다. 힌디어 사용자가 5억 명을 넘는다는 점을 고려하면, 이번 데이터셋 추가는 특정 언어권에 치우쳐 있던 평가 체계를 확장하려는 시도다.

이번에 공개된 Monsoon 데이터셋은 총 4,888명의 화자 데이터를 포함하며, 연구자와 개발자가 직접 성능을 측정할 수 있는 공개 분할(public split)과 모델의 벤치마크 최적화를 방지하기 위해 비공개로 유지되는 비공개 분할(private split)로 나뉜다. 이 네 가지 분할 세트는 화자가 서로 겹치지 않도록 설계되어 데이터의 독립성을 보장한다. 각 화자에 대해서는 12가지의 메타데이터가 기록되어 있어, 단순히 전체 오차율을 확인하는 것을 넘어 특정 조건에서의 성능을 세밀하게 분석할 수 있는 환경을 제공한다.

데이터의 구성과 수집 방식은 특정 하드웨어에 대한 과적합을 방지하는 데 초점을 맞췄다. 인도 영어 공개 세트의 경우 인도 전역 30개 주와 연방 직할지의 428개 구역에서 수집되었으며, 힌디어 세트 역시 각각 202개와 295개 구역을 포괄한다. 녹음 데이터는 315종에서 582종에 이르는 다양한 기기 모델을 통해 수집되었으며, 어떤 단일 기기 모델도 전체 세그먼트의 2.1%를 넘지 않는다. 이는 표준화된 하드웨어 환경에서만 수집된 기존 코퍼스가 특정 마이크 응답 특성에 편향되는 문제를 피하기 위한 조치다.

데이터셋의 신뢰성을 확보하기 위해 모든 녹음은 전사 과정 이전에 일련의 게이팅 체크(gating checks)를 통과했다. 또한, 발화된 언어가 할당된 언어와 일치하는지 확인하기 위해 언어 식별 모델을 통한 검증 절차를 거쳤다. 이러한 데이터 구성은 특정 하드웨어나 환경에 종속되지 않는 범용적인 음성 인식 모델을 개발하려는 실무자에게 중요한 기준점이 된다. 데이터셋에 대한 상세 정보와 활용은 다음 공식 페이지에서 확인할 수 있다.

https://huggingface.co/datasets/speech-benchmark/monsoon

9가지 변수와 12가지 메타데이터로 설계한 검증 구조

이 데이터셋은 힌디어의 철자 변이 문제를 해결하기 위해 고정된 규칙으로 변환하는 노멀라이저(정규화 도구) 대신, 허용 가능한 모든 철자 목록을 제공하는 래티스(lattice) 구조를 채택했다. 영어 데이터셋이 리더보드의 노멀라이저를 통해 대부분의 철자 차이를 하나로 합치는 방식과 달리, 힌디어는 철자 변이가 고정된 매핑으로 해결되지 않는 언어적 특성을 지니기 때문이다. 따라서 힌디어 세트는 전사(음성을 텍스트로 옮김)의 각 구간마다 정답으로 인정되는 철자 리스트를 제공하여 평가의 정확도를 높인다. 이 방식은 단순히 데이터를 모으는 단계를 넘어, 모델이 실패할 수 있는 9가지 축을 의도적으로 설계하여 수집한 결과물이다.

수집 과정에서 고려된 9가지 변수 축은 지리, 연령, 성별, 어휘, 기기, 음향 환경, 발화 유형, 발화 속도, 전사 변이다. 여기에 직업, 교육 수준, 결혼 여부, 소득 수준, 핸드셋 브랜드, 현재 도시, 거주 기간 등 12가지 메타데이터를 결합하여 데이터의 밀도를 확보했다. 이러한 데이터는 Voice Arena(글로벌 디지털 음성 수집 커뮤니티)를 통해 농촌 및 준도시 지역까지 포괄하는 P2P(개인 간 직접 연결) 인터페이스로 수집되었다. 참여자들은 자신의 기기와 네트워크 환경을 그대로 사용했기에, 저가형 기기나 불안정한 대역폭에서 발생하는 음향적 결함이 필터링 없이 데이터에 반영되어 있다.

이러한 대규모 분산 수집은 소규모 데이터셋에서는 나타나지 않는 새로운 실패 모드를 동반한다. 참여자가 과제를 조작하거나, 녹음된 오디오를 실시간 발화인 것처럼 제출하거나, 주석 작업에 집중하지 않는 등의 사례가 발생할 수 있기 때문이다. 이를 방지하기 위해 모든 데이터는 명시적인 검증 절차를 거친다. 참여자는 녹음 권한을 얻기 전 언어 숙련도 심사를 통과해야 하며, 수집된 모든 데이터는 훈련 및 배포 목적에 대한 동의를 바탕으로 한다. 다만, 이 검증 구조와 수집 방식은 인도 영어 및 힌디어 데이터에 한정된 결과이며, 다른 언어권으로의 일반화 가능성은 이번 연구에서 확인되지 않았다.

기존 방식과 달라진 지점

상위 10명의 화자가 전체 데이터의 2.8%에서 6.8%만을 점유하며 절반 이상의 화자가 단 한 번의 발화로만 참여하도록 설계하여 특정 화자에 대한 모델의 과적합을 방지했다. 기존의 음성 데이터셋이 소수 화자의 장시간 녹음본에 의존하여 특정 목소리에 성능이 편향되는 문제를 해결하기 위해, 개별 화자의 기여도를 극단적으로 낮추는 방식을 택한 것이다. 이로써 모델은 특정 인물의 발화 습관을 학습하는 대신 수백 명의 서로 다른 목소리를 고르게 처리해야 하는 환경에 놓인다.

데이터셋에 포함된 기기 모델은 315종에서 582종에 이르며, 단일 기기 모델이 차지하는 비중은 2.1%를 넘지 않도록 구성했다. 특정 기기의 마이크 특성이나 하드웨어 성능이 결과에 미치는 영향을 최소화하기 위해 수백 가지의 기기 환경을 분산 배치한 결과다. 인도 영어 데이터의 경우 인도 전역 30개 주와 연방 직할지에 속한 428개 구역에서 수집된 발화를 포함하며, 지역별로 남부 35%, 동부 18%, 중부 18%, 북부 16%, 서부 11%의 비율로 구성하여 6개 권역의 액센트를 모두 반영했다.

이러한 구성은 특정 지역의 영어 발음이나 특정 기기의 음향 환경에 모델이 종속되는 것을 막기 위한 실무적 조치다. 연구자는 데이터셋 내에 기록된 직업, 교육 수준, 결혼 여부, 소득 수준, 거주 기간 등의 메타데이터를 활용하여 모델이 특정 인구통계학적 집단에서만 높은 성능을 내는지 검증할 수 있다. 결과적으로 모델의 일반화 성능을 측정할 때 특정 환경이나 화자에 치우치지 않은 객관적인 지표를 얻을 수 있다는 점이 이 데이터셋의 핵심 차별점이다.

따라서 사용자는 단순히 평균 오류율에 매몰되지 않고, 데이터셋이 가진 화자 분포와 기기 다양성을 기준으로 모델의 실전 대응력을 평가해야 한다. 특히 절반 이상의 화자가 단 한 번만 등장하는 구조를 고려할 때, 모델이 낯선 화자의 음성을 얼마나 정확하게 전사하는지를 측정하는 것이 성능 확인의 기준이 된다. 데이터셋의 상세 구성은 공식 저장소를 통해 확인할 수 있다.

https://huggingface.co/datasets/monsoon-speech/monsoon

평균 WER 4%와 44% 사이의 간극을 드러내는 영향

음성 인식 모델의 성능을 측정하는 단어 오류율(WER, Word Error Rate)이 전체 평균 4%를 기록하더라도, 특정 인구 통계학적 그룹이나 지역에서는 44%까지 오차가 벌어지는 현상이 확인되었다. 이는 모델이 전체적으로는 우수한 성능을 보이는 것처럼 보여도, 인도 힌디어 벨트나 대도시 외곽의 소외 지역 사용자에게는 사실상 작동하지 않는 수준의 성능 저하를 겪을 수 있음을 의미한다. 기존의 폐쇄형 벤치마크는 데이터가 확보된 환경에서의 평균값만을 제시했으나, 이제는 공개 리더보드를 통해 이러한 격차를 직접 확인할 수 있다.

모델의 취약 지점을 파악하기 위해 오디오 품질, 발화 속도, 발화 길이, 성별, 연령, 기기별로 성능을 쪼개어 분석하는 과정이 필수적이다. 동일한 오디오에 대해서도 여러 개의 정답 전사(transcript)를 인정하는 래티스 구조를 도입함으로써, 특정 지역의 방언이나 발음 습관이 모델의 오류로 오인되는 상황을 방지했다. 연구진은 이를 통해 단순히 데이터의 양을 늘리는 것이 아니라, 모델이 어떤 변수 축을 따라 실패하는지를 명확히 드러내고자 했다.

데이터셋은 지리, 연령, 성별, 어휘, 기기, 음향 환경, 발화 유형, 발화 속도, 전사 변이라는 9가지 핵심 축을 따라 구성되었다. 각 축은 모델이 평균적으로는 정답을 맞히더라도 특정 집단에서는 완전히 틀릴 수 있는 지점을 식별하는 기준이 된다. 실무자는 이 데이터를 활용해 자신의 모델이 특정 기기 모델이나 특정 연령대의 발화에서 유독 높은 오류를 보이는지 세밀하게 대조할 수 있다.

이러한 상세 분석은 단순히 결과값을 나열하는 데 그치지 않고, 모델의 일반화 능력을 검증하는 실질적인 도구로 기능한다. 연구진은 인도 영어와 힌디어 데이터셋을 각각 공개 분할과 비공개 분할로 나누어, 모델이 특정 데이터에 과적합(overfitting)되지 않고 실제 환경의 변동성을 얼마나 잘 처리하는지 측정하도록 설계했다. 이제 개발자는 자신의 모델이 힌디어 벨트의 특정 지역이나 저가형 기기 환경에서 어떤 성능을 보이는지 구체적인 수치로 확인하고 개선 방향을 설정할 수 있다.

한국어 ASR 실무자가 적용할 '변이 중심' 검증 전략

특정 지역의 오차율이 4%에서 44%까지 11배 이상 벌어지는 현상은 전체 평균 WER(단어 오류율)이라는 단일 지표로는 결코 포착할 수 없는 수치다. 대다수 공개 벤치마크가 단순히 전사된 텍스트와 음성 파일만을 제공하는 것과 달리, Monsoon 데이터셋은 12개의 메타데이터 필드를 포함한 18개 컬럼을 제공하여 모델이 특정 집단에서 무너지는 지점을 식별하도록 설계되었다. 한국어 음성 인식 시스템을 구축하는 실무자라면 이제 평균 성능이라는 함정에서 벗어나, 데이터의 양이 아닌 변이의 폭을 기준으로 벤치마크를 재설계해야 한다.

한국어 환경에서 실무적인 검증을 수행할 때는 표준어 중심의 학습 데이터를 넘어 방언과 고령층 발화 데이터를 의도적으로 배치하는 것이 필수적이다. 특히 기기 검증 단계에서는 최신 플래그십 모델뿐만 아니라 저가형 기기 및 네트워크 환경이 불안정한 상황의 오디오 샘플을 반드시 포함해야 한다. 또한 단일 정답만을 요구하는 전사 방식은 한국어의 구어체 변이를 담아내기에 한계가 있으므로, 허용 가능한 모든 철자 목록을 제공하는 래티스(lattice) 기반 평가 방식을 도입하여 모델의 유연성을 측정해야 한다.

실무자는 '전체 평균 성능'이 아닌 '최저 성능 집단(Worst-case group)'의 오차율을 핵심 지표로 설정해야 한다. 이를 위해 지리, 연령, 성별, 어휘, 기기, 음향 환경, 발화 유형, 발화 속도, 전사 변이라는 9가지 핵심 변수를 기준으로 데이터를 세분화하여 성능을 분해(disaggregation)하는 과정이 필요하다. 이러한 접근은 시스템이 특정 사용자 그룹에서 왜 실패하는지를 명확히 보여주며, 모델의 취약점을 보완할 우선순위를 결정하는 판단 기준이 된다.

ASR 시스템의 신뢰성은 평균적인 정확도가 아니라 가장 소외된 사용자 그룹에서도 일관된 성능을 유지할 때 완성된다.