Gemini 3.5 Transcribe의 출시와 API 제공 범위

Google은 원시 오디오를 정제된 텍스트로 직접 변환하는 Gemini 3.5 Transcribe를 공개했다. 이 모델은 배경 소음, 복잡한 전문 용어, 발화 중 발생하는 불필요어(Disfluencies)를 처리하여 정확하고 포맷팅된 텍스트를 생성한다. 개발자는 Google AI Studio의 Gemini API와 Gemini Enterprise Agent Platform을 통해 해당 기능을 자신의 워크플로우에 통합할 수 있다. 적용 가능한 서비스 범위는 실시간 음성 에이전트 구축, 실시간 자막 도구 개발, 통화 후 분석 파이프라인 설계까지 확장된다.

Gemini 3.5 Transcribe는 이미 Android의 Rambler 기능과 macOS용 Gemini 앱에 탑재되어 실제 사용자 환경에서 작동하고 있다. Google은 Gboard, Antigravity, Chrome 브라우저와 같은 주요 서비스 표면에 이 모델을 직접 통합했다. 모델은 문맥 인식 능력을 활용해 발화자의 세밀한 뉘앙스와 의도를 파악하며, 텍스트 입력 중 발생하는 인라인 수정 사항을 실시간으로 캡처한다. 이를 통해 사용자는 음성만으로 Gemini 앱에서 파일 분석, 이미지 생성, 검색 작업을 수행할 수 있다.

이번 모델의 핵심 설계 방향은 전사와 정제 공정의 통합이다. 기존 음성 인식 모델이 소리를 글자로 옮기는 전사에 집중했다면, Gemini 3.5 Transcribe는 원시 오디오에서 정제된 텍스트로 가는 경로를 단축했다. 이러한 구조는 API 호출 횟수를 줄이고 데이터 처리 지연을 최소화해야 하는 엔지니어링 환경에서 실질적인 효율을 제공한다. 특히 기업용 플랫폼인 Gemini Enterprise Agent Platform과의 연동은 복잡한 비즈니스 로직이 포함된 음성 서비스의 배포 속도를 높이는 기반이 된다.

지능형 전사를 위한 핵심 기술 사양

Gemini 3.5 Transcribe는 전사 결과물과 함께 단어 단위 타임스탬프(Word-level timestamps)와 다중 화자 속성 부여(Multi-speaker attribution) 정보를 제공한다. 단어 단위 타임스탬프는 개별 단어가 발화된 정확한 시작과 종료 시점을 기록하여 오디오와 텍스트 간의 정밀한 동기화를 가능하게 한다. 다중 화자 속성 부여 기능은 한 대화 속에 섞인 여러 명의 목소리를 구분해 각 문장의 발화자를 식별한다. 개발자는 이 데이터를 활용해 화자별 대화 자동 분류 파이프라인을 구축하거나 특정 단어 위치로 즉시 이동하는 인터페이스를 구현할 수 있다.

Google은 발화 중 발생하는 추임새나 중복 단어를 자동으로 제거하는 스마트 전사 기능을 내장했다. Android 및 macOS 앱에 적용된 Rambler 기능은 '음', '어'와 같은 불필요어를 선별적으로 삭제해 텍스트의 가독성을 높인다. Rambler는 발화자의 원래 의도를 유지하면서 불필요한 요소만 제거함으로써 사용자가 전사 이후에 수행해야 하는 수동 편집 시간을 단축한다. 이는 원시 오디오의 모든 소리를 그대로 옮기는 방식에서 벗어나 핵심 내용만 남은 정제된 텍스트를 즉시 얻게 하는 결과로 이어진다.

모델은 사용자가 정의한 특정 용어를 정확하게 인식하는 사용자 정의 어휘(Custom vocabulary) 기능을 지원한다. 이 기능은 기업 내부 용어나 전문 기술 용어, 고유 명사를 사용자가 직접 지정해 인식률을 높이는 방식으로 작동한다. Gemini 3.5 Transcribe는 사용자의 자연스러운 발화 스타일을 캡처해 말하는 이의 의도(Intent)를 더 정확하게 파악하도록 설계되었다. 이러한 적응성은 일상적인 대화 톤에서도 사용자가 원하는 작업을 정확히 분석해 실행함으로써 음성 기반 작업의 성공률을 높이는 핵심 요소가 된다.

Chirp 3 대비 성능 개선 및 벤치마크 결과

Artificial Analysis는 Gemini 3.5 Transcribe의 최종 전사 완료 시간(Time to final transcription)을 측정했다. 측정 결과, 이전 모델인 Chirp 3 대비 전사 완료 시간이 70% 단축된 것으로 나타났다. 전사 완료 시간의 단축은 사용자가 말을 마친 후 텍스트가 화면에 나타나기까지의 공백을 제거하여 음성 인터페이스의 반응성을 높인다. 개발자는 API 호출 후 최종 결과를 받기까지의 대기 시간이 줄어듦에 따라 전체 서비스 파이프라인의 처리 효율을 개선할 수 있다.

Google은 다국어 음성 인식 성능을 측정하는 FLEURS 벤치마크를 통해 모델의 정밀도를 검증했다. Gemini 3.5 Transcribe는 다양한 언어와 지역적 특성이 반영된 데이터셋에서 Chirp 3를 상회하는 성능을 기록했다. 특히 전사 정확도의 핵심 지표인 WER(Word Error Rate) 수치를 5%대로 낮추어 실제 발화 내용과 전사 텍스트 간의 일치도를 높였다. 이는 글로벌 환경에서 발생하는 다양한 억양과 발화 습관을 더 정확하게 포착할 수 있는 범용적인 인식 능력을 확보했음을 의미한다.

모델의 WER 수치는 사용 환경에 따라 스트리밍과 비스트리밍 모드로 구분되어 측정되었다. 실시간으로 음성 데이터를 전송하며 변환하는 스트리밍 모드에서는 5.50%의 WER을 달성했다. 음성 파일 전체를 입력받아 처리하는 비스트리밍 모드에서는 이보다 낮은 5.04%의 WER을 기록했다. 일반적으로 실시간 처리 방식은 전체 문맥 파악 전 텍스트를 생성하므로 오류율이 높지만, 이번 모델은 스트리밍 모드에서도 5.50%라는 낮은 수치를 기록하며 두 방식 사이의 정확도 격차를 좁혔다.

Gemini Live API를 통한 개발 플랫폼 확장

Google은 Gemini Live API를 통해 개발자가 복잡한 실시간 미디어 스트리밍 인프라를 직접 구축하지 않고도 고성능 음성 인터페이스를 배포할 수 있게 했다. Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel, Vision Agents와 같은 개발 플랫폼들이 이 API를 연동하여 배포 과정을 간소화했다. 이러한 플랫폼들은 오디오 데이터의 패킷 손실이나 전송 지연을 제어하는 서버 환경을 백엔드에서 관리한다. 개발자는 인프라 관리 부담을 외부 플랫폼에 위임하고 사용자 경험(UX) 설계와 인터페이스 구현이라는 핵심 과제에만 자원을 집중할 수 있다.

Vivo, Intellitek Health, Lingopal과 같은 기업들은 Gemini Live API를 활용해 실제 서비스 성능을 검증했다. 이들 기업은 특히 데이터 전송 후 응답이 돌아오기까지의 지연 시간(Latency) 단축과 인식 정확도, 광범위한 언어 지원 범위에 대해 긍정적인 피드백을 제공했다. 기업들이 자체 스트리밍 서버를 유지보수하는 비용을 들이지 않고 관리형 서비스를 통해 모델을 연결함으로써 제품 출시 기간을 단축한 결과다. 이는 모델의 지능을 넘어 실제 서비스 환경에 필요한 파이프라인을 표준화된 API 체계로 통합한 성과로 평가된다.

인프라의 추상화(Abstraction)는 개발자의 진입 장벽을 낮추어 다양한 산업군에서 음성 AI 에이전트를 빠르게 적용할 수 있는 토대를 마련했다. Gemini Live API는 모델의 기술적 성능을 실제 서비스의 가치로 전환하는 최적의 배포 경로 역할을 수행한다. 개발자는 복잡한 네트워크 제어나 서버 부하 분산 작업을 직접 수행하는 대신, 표준화된 인터페이스를 통해 밀리초 단위의 정밀한 제어가 필요한 실시간 상호작용 기능을 구현할 수 있다.

서비스 목적별 전사 모드 선택 기준

Gemini 3.5 Transcribe는 발화자가 대화 도중 언어를 바꿔도 즉각 인식하는 실시간 언어 전환(Live language switches) 기능을 지원한다. 사용자가 한국어와 영어를 섞어 쓰는 환경에서도 수동 설정 변경 없이 즉시 텍스트 변환이 가능하다. 또한 음성 입력 데이터가 들어오는 즉시 텍스트 출력을 생성하는 스트리밍 전사 구조를 통해 대기 시간을 최소화했다. 이러한 기능은 실시간 자막 서비스나 대화형 AI 에이전트의 기초가 되는 핵심 파이프라인으로 작동한다.

Google은 전사 정확도를 극대화하기 위해 Gboard, Chrome, Google Antigravity와 같은 서비스의 화면 컨텍스트(Screen context)를 활용한다. 모델은 사용자가 현재 보고 있는 웹페이지의 내용이나 앱의 텍스트 정보를 입력값으로 함께 제공받아 인식률을 높인다. 예를 들어 특정 기술 문서 페이지를 띄워놓은 상태에서 음성 입력을 하면, 화면에 노출된 전문 용어를 참조해 오인식률을 낮춘다. 이는 음성 인식 모델이 텍스트 기반의 외부 지식을 실시간으로 참조하여 고유 명사나 복잡한 용어를 정확히 처리하는 구조를 갖췄음을 보여준다.

개발자는 서비스의 목적에 따라 스트리밍 모드와 비스트리밍 모드 중 최적의 옵션을 선택해야 한다. 실시간 응답성과 즉각적인 상호작용이 핵심인 인터페이스에는 WER 5.50%를 기록한 스트리밍 모드를 적용하는 것이 적합하다. 반면, 오디오 파일 전체를 분석하여 정밀한 기록을 저장하거나 사후 분석을 수행하는 파이프라인에는 WER 5.04%의 비스트리밍 모드를 채택하는 것이 유리하다. 처리 속도를 위해 일부 정확도를 양보할 것인지, 혹은 속도를 희생하고 데이터의 무결성을 확보할 것인지에 따라 선택지가 갈린다.