새로운 음성 모델인 GPT-Live를 출시했다

OpenAI가 실시간 상호작용을 위해 GPT-Live를 출시했다. GPT-Live-1과 GPT-Live-1 mini 두 모델이 iOS, Android, ChatGPT.com을 통해 배포된다. 유료 티어(Go, Plus, Pro)는 GPT-Live-1을 기본으로 사용하며, 무료 사용자에게는 mini 모델이 제공된다.

ChatGPT의 음성 기술은 세 단계를 거쳐 진화했다. 1세대는 Whisper가 받아쓰고 GPT-4가 생성해 TTS(Text-to-Speech, 텍스트 음성 변환)가 읽어주는 계단식 파이프라인 구조였다. 각 단계의 처리 시간이 합산되어 지연이 발생했다. 2세대인 Advanced Voice Mode는 이를 단일 모델로 통합해 오디오를 네이티브하게 처리했다. 3세대 GPT-Live는 전이중(full-duplex) 아키텍처와 추론 계층 분리를 적용해 인간과 더 유사한 대화를 구현한다.

전이중 아키텍처는 듣기와 말하기를 동시에 수행해 응답 대기 시간인 데드 에어(Dead Air)를 제거한다. 이는 실시간 음성 에이전트를 구축할 때 추론 레이어와 인터랙션 레이어를 분리하는 모듈형 설계의 실무적 기준이 된다.

듣기와 말하기가 동시에 가능한 '전이중(full-duplex)'

GPT-Live는 송수신이 동시에 이뤄지는 전이중(full-duplex) 아키텍처를 도입했다. 모델이 답변을 생성하는 중에도 입력 오디오를 지속적으로 처리하는 방식이다. 사용자가 말을 마쳤는지 확인하기 위해 깨끗한 침묵 구간이 생길 때까지 기다릴 필요가 없다. 대화 도중 추임새를 넣거나 자연스럽게 말을 가로채는 개입 처리가 실시간으로 작동한다.

음성 상호작용 계층과 추론 계층을 분리한 모듈형 설계가 핵심이다. 단순한 질문은 GPT-Live가 즉시 처리해 응답 속도를 높이고, 웹 검색이나 복잡한 추론이 필요한 작업은 백그라운드에서 실행되는 프런티어 모델 GPT-5.5에 위임한다. 이 과정이 비동기적으로 이루어지기 때문에 고도의 추론이 진행되는 중에도 대화 흐름이 유지된다. 음성 인터랙션과 딥 리즈닝(Deep Reasoning, 심층 추론)의 경로를 이원화해 지연을 최소화했다.

결과적으로 실시간 음성 에이전트의 최대 장애물인 데드 에어를 제거하는 설계 기준을 확보했다. 입력과 출력을 동시에 처리하는 전이중 방식과, 난이도에 따라 모델을 분리해 위임하는 비동기 구조를 결합해 대화의 연속성을 기술적으로 구현했다.

확인해야 할 핵심 지점

기존 Advanced Voice Mode는 침묵을 기준으로 대화 순서를 감지하는 턴제(turn-by-turn) 방식을 사용했다. 주변 소음이나 생각 중의 짧은 멈춤을 대화 종료로 오인해 AI가 부자연스럽게 끼어드는 현상이 빈번했다. GPT-Live는 풀 듀플렉스 아키텍처를 통해 이러한 턴제 방식의 경직성을 없앴다.

모듈형 설계는 지능 업그레이드의 비용과 시간도 줄인다. 음성 전용 모델을 매번 다시 학습시킬 필요 없이, 최신 프런티어 모델이 출시될 때마다 추론 엔진만 교체하면 된다. 모델 전체를 다시 훈련해야 했던 기존 방식의 비효율을 제거하고, 최신 추론 능력을 서비스 환경에 즉각 적용할 수 있는 유연성을 갖췄다.

이 설계는 기업용 에이전트가 데이터베이스를 조회하거나 다단계 추론을 수행할 때 발생하는 수 초의 대기 시간을 제거한다. 기존 파이프라인에서는 복잡한 작업 중 대화가 끊겼으나, 이제는 백엔드에서 무거운 연산을 수행하면서도 사용자와의 흐름을 자연스럽게 유지한다. AI가 생각하는 시간조차 대화의 일부로 편입시킨 셈이다.

AI가 대화를 가로채거나 반응이 늦던 경험은 단순한 지연이 아니라 아키텍처의 부재였다. GPT-Live가 보여준 인터랙션 레이어와 추론 레이어의 분리는 실시간 음성 에이전트에서 데드 에어를 제거하는 실무적 표준이 된다. 이제 음성 AI의 제품 경쟁력은 모델의 지능을 넘어, 두 레이어를 얼마나 정교하게 분리해 응답 대기 시간을 제어하느냐에 따라 결정된다.