실시간 상호작용을 위한 풀-듀플렉스 모델의 도입
ChatGPT와 대화 중 말을 끊었을 때 AI가 한 박자 늦게 반응하거나 어색하게 멈추는 경험은 이제 과거가 된다. OpenAI는 말하기와 듣기를 동시에 수행하는 GPT-Live-1과 GPT-Live-1 mini를 출시하며 이 지연 문제를 해결했다. 두 모델은 인간의 음성에 가까운 자연스러운 소리를 구현하며, 대화 순서를 교대하는 턴 테이킹(turn-taking) 능력을 대폭 강화했다.
기존 '고급 음성 모드'는 GPT-Live-1 mini로 대체된다. 무료 및 일반 사용자는 mini 모델을, 유료 사용자는 연산 능력이 더 높은 GPT-Live-1 모델을 사용한다. 핵심은 송수신을 동시에 처리하는 풀-듀플렉스(full-duplex) 방식이다. 사용자가 AI의 답변 도중 말을 가로채도 흐름이 끊기지 않고 즉각적으로 대화가 이어진다. 실시간 번역처럼 쉼 없는 상호작용이 필요한 기능의 토대가 마련된 셈이다.
제품 리드 애티 엘레티는 산책하며 30~40분간 AI와 장시간 대화를 나눈 사례를 공개했다. 모델이 오랫동안 침묵하며 대기하면서도 전체 맥락을 놓치지 않고 흡수하는 능력을 구현한 결과다. 인터페이스의 반응 구조가 사용자의 호출을 기다리는 '수동적 대기'에서, 맥락에 따라 개입하는 '능동적 구조'로 전환됐다.
STT-LLM-TTS 구조의 통합과 GPT-5.5의 연동
기존 음성 AI는 음성을 텍스트로 바꾸는 STT(Speech-to-Text), 이를 처리하는 LLM, 다시 음성으로 출력하는 TTS(Text-to-Speech)를 순차적으로 거쳤다. OpenAI는 이 단계별 구조를 통합된 풀-듀플렉스 방식으로 전환해 고질적인 지연 시간을 줄였다. 이제 음성 모델은 단순한 소리 출력을 넘어 텍스트 모델의 지능을 실시간으로 호출한다.
GPT-Live-1은 대화를 유지하는 동시에 검색, 추론, 에이전트 기능을 수행하기 위해 최신 텍스트 모델인 GPT-5.5로 쿼리를 전송한다. 여기서 에이전트 기능이란 AI가 단순 답변을 넘어 특정 과업을 스스로 계획하고 수행하는 능력을 뜻한다. 백그라운드에서 GPT-5.5의 연산 능력을 활용하기 때문에, 복잡한 답변을 생성하는 중에도 음성 인터페이스의 연속성이 유지된다.
음성 결과물을 소리로만 전달하지 않고 시각적 형식으로 함께 제시하는 기능도 추가됐다. 최신 GPT 모델의 접근 권한을 활용해 대화 도중 필요한 정보를 화면에 즉시 띄워 전달력을 높이는 방식이다. 이제 사용자는 음성 AI의 성능을 단순한 '말투'가 아니라, 인터페이스의 지연 시간과 복잡한 에이전트 작업의 수행 가능 여부로 판단하게 된다.
음성 컴퓨팅 인터페이스의 확장과 시장 경쟁 구도
OpenAI는 음성을 단순한 입력 수단이 아닌, 복잡한 작업을 관리하는 '컴퓨팅의 기본 인터페이스'로 정의했다. 특히 AI가 자율적으로 과업을 수행하는 에이전트 작업(agentic work)을 음성으로 제어하는 환경을 구축할 계획이다. 애티 엘레티는 과거 코덱스(Codex)와 ChatGPT가 그랬듯, 음성이 모든 업무를 수행하는 미래 인터페이스가 될 것이라 전망했다. 업계에서는 이를 위해 OpenAI가 AI 탑재 이어버드 하드웨어를 출시할 수 있다는 보고가 나왔으나, 회사 측은 구체적인 정보를 밝히지 않았다.
빅테크 기업들의 경쟁은 이미 문맥 처리 능력 싸움으로 번졌다. 애플과 아마존은 기존 어시스턴트를 업데이트해 더 인간다운 대화와 정교한 문맥 핸들링을 구현했다. 스타트업의 공세도 매섭다. 세서미(Sesame)는 대화와 동시에 백그라운드에서 실제 과업을 완결하는 어시스턴트를 출시했고, 4,000만 달러의 시드 투자를 유치한 모노그램(Monogram)은 시각적 응답 기능을 강화하며 인터랙티브 경험에 집중하고 있다.
1억 5,000만 명 이상의 사용자를 고려한 안전장치도 마련됐다. 십 대 사용자에게 적합한 응답을 제공하고, 자해 등 위험 주제 등장 시 관련 리소스를 연결하는 가드레일을 구축했다. 다만 기술적 한계는 여전하다. 힌디어 실시간 번역 시연에서 미국식 억양과 딱딱한 문어체 톤이 노출된 것이 대표적이다. OpenAI는 주요 언어에 최적화되었다고 설명했지만, 구체적인 지원 언어 목록은 공개하지 않았다.
결국 음성 AI의 경쟁력은 '얼마나 사람처럼 말하는가'라는 감성적 영역에서 '얼마나 빠르게 반응하고 복잡한 과업을 끝내는가'라는 실무적 성능 영역으로 이동했다.
