11개 오픈소스 ASR 모델에서 발견된 '벤치맥싱' 현상

오픈소스 ASR(Automatic Speech Recognition, 자동 음성 인식) 모델 중 벤치마크 점수가 가장 높은 시스템들이 오디오 내용과 상관없이 정답지를 그대로 출력하는 현상이 확인됐다. 이는 WER(Word Error Rate, 단어 오류율) 수치만으로 모델을 선택하던 기존 기준을 수정해야 함을 보여준다. 특히 대규모 데이터셋으로 학습된 최신 모델일수록 실제 음성 데이터가 아닌 정답지 자체를 암기해 출력하는 경향이 뚜렷했다.

연구팀은 업계에서 널리 사용되는 11개의 오픈소스 ASR 모델을 대상으로 VoxPopuli English와 LibriSpeech 데이터셋을 활용해 정밀 평가를 진행했다. 테스트 결과, 모델들은 오디오 내용이 정답지와 모순되거나 특정 단어가 삭제되어 소리가 나지 않는 상태에서도 정답지 텍스트를 그대로 출력했다. 오디오가 두 가지 표기법을 모두 지원하는 모호한 상황에서도 정답지에 적힌 특정 표기법만을 선택했다. 벤치마크 점수를 높이기 위해 정답지를 암기하는 '벤치맥싱(Benchmaxxing)'이 실제 전사 성능을 왜곡하고 있다.

이 현상은 모델이 오디오의 언어적 정보가 아닌, 녹음 환경, 배경 소음, 하드웨어 특성 같은 미세한 음향 단서(Acoustic cues)를 정답지 인출 트리거로 사용하기 때문에 발생한다. 모델은 소리를 이해하는 것이 아니라 입력 신호의 패턴을 보고 어떤 정답지를 출력해야 점수가 높게 나오는지 판단한다. 이는 학습 과정에서 데이터셋의 정답지와 음향적 특징이 함께 연결되었기 때문이다.

결과적으로 벤치마크의 높은 점수는 일반적인 음성 인식 능력이 아니라 특정 데이터셋의 정답지를 재현하는 능력을 보여주는 수치에 불과했다. 정답지를 암기한 모델은 정답지 자체에 포함된 오타까지 그대로 복제했다. 따라서 공개 벤치마크 수치만 믿고 모델을 도입하면, 정답지가 없는 실제 현장 데이터에서 성능이 급격히 하락할 가능성이 크다.

정답지 오류를 그대로 베끼는 '합의 불일치 프로브' 테스트

연구팀은 음소 오류율(PER, Phoneme Error Rate)이 낮은 독립 모델들을 묶은 앙상블을 구성해 벤치마크 정답지와 대조하는 방식을 사용했다. 앙상블 모델들이 합의한 결과가 벤치마크 정답지와 일치하지 않는 사례를 찾아 사람이 직접 작성한 주석과 비교 검증했다. 소리에 충실한 모델들이 공통적으로 정답지와 다른 답을 낸다면, 정답지가 틀렸거나 모델이 정답지를 외워 출력하고 있다는 판단 근거가 된다.

VoxPopuli 데이터셋의 특정 클립에서 "Thank you, Mr. President"라는 음성이 명확히 들리지만 정답지에는 "Thank you"가 누락된 사례가 있었다. 테스트 결과 11개 모델 중 6개가 오디오 내용을 무시하고 누락된 정답지를 그대로 출력했다. 이는 모델이 실시간으로 소리를 듣는 것이 아니라 학습 과정에서 접한 정답지를 인출하고 있음을 보여준다.

정답지를 베낀 모델들은 텍스트의 구두점 스타일까지 동일하게 재현했다. "Mr" 뒤에 마침표를 생략한 정답지의 표기 방식을 그대로 따랐으며, 실제 음성을 충실히 전사한 모델들은 마침표를 찍어 "Mr."라고 표기했다. 단순한 단어 누락을 넘어 정답지의 세부한 표기 습관까지 복제한 결과는 모델이 오디오 신호보다 텍스트 데이터 패턴에 더 강하게 의존했음을 증명한다.

이러한 암기 행동은 데이터 환경을 바꾸면 사라진다. 새로 수집한 EU 의회 녹음이나 일반 음성 데이터로 교체했을 때 정답지를 베끼는 현상이 약화되거나 완전히 사라졌다. 실무적으로는 정답지를 변형하거나 새로운 데이터를 투입하는 프로브 테스트를 통해 모델의 실제 전사 능력을 검증해야 한다.

숫자 마스킹과 철자 변환으로 검증한 암기 메커니즘

LibriSpeech 데이터셋에서 성능이 높다고 알려진 일부 모델들은 오디오에서 숫자를 완전히 삭제(Number Masking)했음에도 정답지의 숫자를 30~40% 확률로 복구했다. 숫자가 없는 구간에서 정답지의 숫자를 출력하는 이 현상은 공개 벤치마크에서 가장 높게 나타났으며, 외부 수집 오디오에서는 낮아졌다. 이는 모델이 벤치마크와 관련된 주변 음향 단서를 통해 정답을 유추하고 있음을 보여준다.

철자 변환(Orthographic switching) 테스트에서는 anyone과 any one처럼 발음은 같지만 표기가 다른 단어를 측정했다. 11개 모델 중 6개는 any one을, 5개는 anyone을 선택했다. 모델이 오디오의 실제 발음을 듣고 판단하는 것이 아니라, 해당 데이터셋이 가진 고유의 띄어쓰기 관습을 인지하고 표기를 변경한 것이다.

데이터셋 간 표기법 차이를 구분하는 정확도는 더 뚜렷했다. VoxPopuli는 "Mr.", LibriSpeech는 "Mister"라는 약어 관습이 있는데, 일부 모델은 이 차이를 인지하고 표기를 전환하는 정확도를 약 90%까지 기록했다. 동일한 오디오 내용임에도 처리 중인 데이터가 어떤 벤치마크인지 식별해 출력 형식을 맞춘 결과다. 이는 정답지 복제가 단순 우연이 아니라 체계적인 암기 메커니즘에 기반하고 있음을 증명한다.

WER 수치가 낮을수록 높아지는 정답지 재현율

벤치마크 최적화 행동을 보이는 모델들은 정답지의 오류를 18~30% 확률로 그대로 재현했다. VoxPopuli 테스트 클립의 약 40%에서 잠재적인 정답지 오류가 발견되었으며, 이는 전체 단어의 약 3%에 영향을 주는 규모다. 분석 결과, WER(단어 오류율)이 낮아질수록 정답지 오류 재현율이 상승하는 정비례 관계가 나타났다. 지표가 좋을수록 실제 음성 전사 능력이 뛰어난 것이 아니라 벤치마크 정답지를 암기했을 위험이 크다는 뜻이다.

모델마다 정답지에 의존하는 방식에는 차이가 있다. Parakeet 모델은 실제 벤치마크 클립에서는 정답지 오류를 재현하지만, 동일 화자의 클론 음성으로 입력값을 바꾸면 다시 정확하게 전사하는 스위칭 행동을 보였다. 이는 모델이 특정 오디오 파일의 물리적 특성을 기억해 정답지를 꺼내는 방식으로 작동함을 보여준다. 반면 Phi-4 모델은 클론 음성 환경에서도 인사말이 누락된 정답지 오류를 그대로 유지하는 고착 상태를 보였다.

따라서 벤치마크 점수가 비정상적으로 높다면, 정답지와 오디오 내용이 모순되는 지점을 의도적으로 넣어 테스트하는 프로브(Probe) 검증을 도입해야 한다. 오디오에서 들리는 단어가 정답지에서 누락되었을 때 모델이 실제 소리를 따라가는지 확인하는 과정이다. 벤치마크 데이터셋에 과적합된 모델은 새로운 도메인의 음성을 만났을 때 성능이 급격히 하락할 가능성이 매우 높다.

한국 AI 실무자를 위한 ASR 모델 검증 판단 기준

이러한 분석 결과를 바탕으로, 실제 서비스에 ASR 모델을 도입하려는 실무자가 적용할 수 있는 검증 가이드라인은 다음과 같다.

첫째, 리더보드에 공시된 WER 수치보다 홀드아웃(Held-out, 학습에 사용되지 않은 데이터) 세트에서의 성능 격차를 먼저 확인해야 한다. Real World VoiceEQ, Open-ASR, Far-field ASR 리더보드 등이 이를 도입하고 있다. 이 격차가 클수록 모델은 일반적인 인식 능력이 아니라 특정 데이터셋의 통계적 특성에 의존하고 있을 확률이 높다.

둘째, 정답지와 오디오가 의도적으로 충돌하는 '합의 불일치 프로브' 테스트를 수행해야 한다. 모델이 오디오 내용과 모순되는 정답지의 오류까지 그대로 재현한다면, 이는 음성 인식 엔진이 작동하는 것이 아니라 텍스트 패턴을 기억해 출력하는 벤치맥싱 상태다.

셋째, 화자 변조 및 데이터 변형 테스트를 실시한다. 학습 컷오프 이후 녹음된 연설자의 TTS 클론 음성을 입력하거나, 숫자를 마스킹했을 때 정답지를 그대로 출력하는지 확인해야 한다. 특히 일반적인 TTS 음성으로 문장을 재합성했을 때 전사 능력이 회복되는지 확인하여, 모델이 언어적 맥락이 아닌 미세한 음향 단서에 의존하고 있는지 판별한다.

결론적으로 벤치마크 정답지의 오류를 그대로 재현하거나 홀드아웃 세트에서 성능이 급락하는 모델은 리더보드 순위와 관계없이 실무 도입 대상에서 제외해야 한다.

실무 환경에서 모델을 선택할 때 단순히 수치상의 우위를 점하는 것이 아니라 실제 오디오 신호에 얼마나 충실하게 반응하는지를 측정하는 독립적인 검증 절차가 필수적인 이유다.