NVIDIA H200 기반의 초고속 전사 성능과 RTFx 지표

NVIDIA H200 GPU는 배치 추론(batched inference)을 통해 1초에 3.5시간 이상의 음성을 전사하며 12,600 RTFx 이상의 처리 속도를 기록했다. RTFx는 실시간 대비 처리 속도를 나타내는 지표로, 이번 모델은 대규모 음성 아카이브를 빠르게 텍스트로 변환해야 하는 환경에서 극단적인 효율성을 제공한다. IBM은 이러한 속도 성능을 검증하기 위해 Chrome 및 Edge 브라우저에서 작동하는 WebGPU 기반의 스트리밍 음성 인식 데모를 공개했다.

모델의 정확도는 OpenASR 공개 테스트셋을 통해 측정되었으며, 비상업용인 nc 모델은 4.85%의 WER(Word Error Rate), Apache 2.0 라이선스 모델은 5.00%의 WER을 기록했다. WER은 인식된 단어 중 오류가 발생한 단어의 비율을 의미하며, 수치가 낮을수록 전사 정확도가 높음을 뜻한다. 해당 수치는 HF Jobs 추론과 OpenASR 리더보드 도구를 사용한 비공식 결과이나, 공식 리더보드의 측정 방식과 일치하여 신뢰도를 확보했다.

원거리 음성 인식 성능을 측정하는 FFASR 리더보드에서도 두 모델은 상위권에 진입했다. 2026년 8월 25일 기준, ibm-granite/granite-speech-5.0-470m-turboctc-nc 모델은 정확도 5위를, ibm-granite/granite-speech-5.0-470m-turboctc 모델은 9위를 기록했다. 두 모델 모두 해당 리더보드에서 가장 빠른 처리 속도를 가진 모델로 확인되었으며, 이는 작은 모델 크기로도 고성능 음성 인식이 가능함을 입증한다.

20배 처리량 향상을 위한 인코더 전용 구조의 설계

IBM은 470M 파라미터 규모의 인코더 전용(Encoder-only) 구조를 채택하여 이전 Granite Speech 모델 대비 처리량을 20배 이상 높였다. 기존 모델은 어쿠스틱 인코더, 프로젝터, 그리고 LoRA 어댑터가 적용된 Granite LM이 결합된 복합 구조였으나, 이번 버전에서는 이를 모두 제거하고 인코더만 남겼다. 이러한 설계 변경은 메모리 점유율을 획기적으로 낮추어 저사양 엣지 디바이스에서도 실시간 STT를 구현할 수 있는 하드웨어적 기반을 제공한다.

인코더 전용 구조로의 전환은 일부 기능의 트레이드오프를 동반했다. 모델은 기존 LM 기반 모델이 제공하던 음성 번역(Speech Translation) 기능과 키워드 바이어싱(Keyword Biasing) 기능을 더 이상 지원하지 않는다. 키워드 바이어싱은 고유 명사나 전문 용어의 인식 가중치를 조절하는 기술이나, 이를 제거함으로써 순수 전사 작업의 연산 효율을 극대화했다.

연산 최적화를 위해 IBM은 파이토치(PyTorch)의 `scaled_dot_product_attention()` 함수를 도입했다. 이는 기존의 einsum 구현 방식보다 메모리 사용량과 계산 속도를 개선한 어텐션 연산 방식이다. 여기에 데이터를 일정 크기로 나누어 처리하는 청크 단위 어텐션(chunkwise attention)을 적용하여, 긴 음성 데이터를 처리할 때 발생하는 메모리 부하를 효과적으로 제어했다. 전체적인 컨포머(Conformer) 블록 구현은 Phil Wang의 설계를 기반으로 최적화되었다.

12.5 TPS 달성을 위한 3단계 서브샘플링 메커니즘

Granite 5.0 모델은 토큰 생성률을 초당 50자에서 초당 12.5토큰으로 낮추어 전체적인 연산 부하를 줄였다. 이를 위해 로그 멜 스펙트로그램(log Mel spectrogram)의 초당 100프레임 데이터를 12.5토큰으로 압축하는 3단계의 2배 서브샘플링(subsampling) 기법을 적용했다. 이 과정은 데이터의 해상도를 단계적으로 낮추어 핵심 특징만을 추출함으로써 추론 속도를 가속화한다.

서브샘플링의 첫 번째 단계는 `reshape()` 연산을 통해 연속된 로그 멜 특징 벡터를 하나로 묶는 방식으로 수행된다. 이 방식은 이전 Granite Speech 모델의 인코더에서도 사용된 기법으로, 초기 입력 데이터의 차원을 재구성해 연산량을 일차적으로 감소시킨다. 이후의 단계는 모델 내부의 컨포머 블록에서 처리된다.

두 번째와 세 번째 서브샘플링 단계는 총 16개의 컨포머 블록 중 앞선 두 블록에 내장된 스트라이드 컨볼루션(strided convolution)을 통해 이루어진다. 컨볼루션 블록은 `stride=2` 설정을 사용하여 시간축 해상도를 절반으로 줄이며, 잔차 연결(residual) 경로에서는 연속된 두 위치의 평균값을 취해 데이터 크기를 맞춘다. 이러한 구조적 설계를 통해 모델은 입력 신호의 시간적 해상도를 효율적으로 낮추면서도 전사 정확도를 유지한다.

라이선스 및 토크나이저 기반의 모델 선택 기준

IBM은 학습 데이터의 양과 라이선스 정책에 따라 두 가지 모델 버전을 제공한다. `granite-speech-5.0-470m-turboctc-nc` 모델은 추가 데이터를 학습하여 성능을 높였으며, CC-BY-NC-SA-4.0 라이선스를 적용해 비상업적 용도로만 사용 가능하다. 반면 `granite-speech-5.0-470m-turboctc` 모델은 상대적으로 적은 데이터셋으로 학습되었으나, 상업적 이용과 수정이 자유로운 Apache 2.0 라이선스를 채택했다.

두 모델은 텍스트를 숫자로 변환하는 토크나이저 방식에서도 차이를 보인다. 비상업용 nc 모델은 데이터에서 직접 최적의 분절 단위를 찾는 SentencePiece 토크나이저를 사용한다. Apache 2.0 모델은 빈도 기반의 바이트 쌍 인코딩 방식인 BPE(Byte Pair Encoding) 토크나이저를 사용한다. 두 토크나이저 모두 실제 음성 전사 텍스트를 기반으로 학습되어 음성 인식 특성을 반영한다.

학습 데이터와 토크나이저의 차이는 특정 데이터셋에서의 성능 차이로 나타난다. nc 모델은 추가 학습 데이터의 영향으로 SPGI Speech 데이터셋에서 Apache 2.0 모델보다 우세한 성능을 보였다. 그러나 새로운 청크 단위의 Earnings22 테스트셋에서는 Apache 2.0 모델이 nc 모델보다 더 나은 인식 성능을 기록했다. 이는 학습 데이터의 구성에 따라 특정 도메인에서 성능 역전이 발생할 수 있음을 보여준다.

실무 도입을 위한 검증 경로와 최종 선택 가이드

개발자는 `transformers` 라이브러리를 통해 Granite Speech 5.0 모델을 설치하고 사용할 수 있다. 현재 최신 릴리스 버전이 배포되기 전까지는 사용자가 직접 소스 코드에서 설치해야 하는 제약이 있다. 네이티브 지원이 완료되면 모델 식별자 호출만으로 즉시 추론 환경을 구축할 수 있으며, 470M라는 작은 파라미터 규모 덕분에 임베디드 시스템에서도 안정적인 인터페이스 구현이 가능하다.

한국 AI 실무자가 이 모델을 도입할 때는 다음의 산출물 기준에 따라 모델을 선택해야 한다. 우선 상업적 서비스 출시 여부에 따라 Apache 2.0(상업용)과 CC-BY-NC-SA-4.0(연구/내부용) 라이선스를 구분하여 선택한다. 다음으로, 한국어 전사 정확도를 검증하기 위해 BPE 토크나이저와 SentencePiece 토크나이저 중 어떤 방식이 한국어 형태소 분석에 더 유리한지 자체 데이터셋으로 WER을 측정해야 한다. 원문에서는 한국어 지원 성능에 대한 구체적 수치가 명시되지 않았으므로, 실제 도입 전 한국어 전용 데이터셋을 통한 검증 단계가 필수적이다.

최종적으로 저사양 엣지 디바이스에서 실시간 STT를 구현하고자 할 때, Apache 2.0 모델의 WER 5.00% 수준을 서비스 허용 오차 범위 내로 수용할 수 있다면 서버리스 온디바이스 환경으로 전환하는 것이 가장 효율적이다. 실무자는 12,600 RTFx라는 초고속 처리량이 정교한 키워드 제어보다 우선하는 서비스인지 판단하여 도입 여부를 결정해야 한다.