투자 규모와 기술적 지향점

1300만 달러 규모의 시리즈 A 투자가 Smallest.ai에 집행됐다. 셀리그만 벤처스(Seligman Ventures)가 주도하고 시에라 벤처스(Sierra Ventures), 3one4 캐피털(3one4 Capital)이 참여했으며, 이로써 해당 스타트업의 총 누적 투자액은 2100만 달러를 넘어섰다. 2024년 말 설립된 이 회사는 AI 에이전트가 고객 지원 문제를 해결하는 능력은 향상됐지만, 여전히 기계 특유의 이질감이 남아 있다는 점에 주목했다.

기존 대형 언어모델(LLM)이 전체 프롬프트를 입력받은 뒤 사고를 시작하는 방식이라면, Smallest.ai가 개발하는 소형 음성 모델은 인간이 정보를 처리하는 방식인 '동시 청취, 사고, 발화'를 모방한다. 대화 도중 상대의 말을 듣고 동시에 생각을 하며, 필요할 때 말을 끊고 들어오는 인간의 상호작용 방식을 구현하는 것이 핵심이다. 텍스트 채팅에서는 허용되는 짧은 일시 정지가 음성 대화에서는 부자연스러운 지연(latency)으로 느껴진다는 판단에서 출발한 접근이다.

실시간 지능 계층(real-time intelligence layer)으로 작동하는 이 모델은 특정 주제에 대해 응답 지연이 거의 없는 자연스러운 대화를 지원한다. 만약 모델의 제한된 지식 범위 밖의 질문이 들어오면, 즉시 대형 파운데이션 모델로 쿼리를 전달한다. 이때 AI는 실제 상담원처럼 고객에게 잠시 대기해 달라고 요청하며 '조사'하는 과정을 거치는데, 이는 기술적 한계를 인간의 행동 양식으로 풀어내어 사용자 경험의 이질감을 줄이는 장치다.

채택 흐름과 경쟁 구도의 변화

소형 음성 모델과 '오프라인' LLM이라는 두 가지 모델을 병행 사용하는 구조는 AI 에이전트의 효율성을 극대화하는 전략이다. 실시간 상호작용은 소형 모델이 맡고, 복잡한 문제 해결은 필요할 때만 대형 모델을 호출하는 방식이다. Smallest.ai는 범용적인 지능보다 음성 특유의 뉘앙스, 다양한 억양 처리, 수십 개의 언어 지원, 소음 환경에서의 작동 성능 등 음성 전용 최적화에 집중하고 있다.

링센트럴(RingCentral)과 트루콜러(Truecaller) 같은 음성 서비스 기업들이 이미 이 기술을 채택했다. 시에라(Sierra)나 데카곤(Decagon) 같은 최신 고객 지원 AI 기업들 역시 잠재적 고객군에 포함된다. 고객 지원 스타트업들이 직접 음성 모델을 구축하기보다 외부 솔루션을 채택하는 이유는, 음성 최적화라는 고난도 작업에 매달리는 것이 이들의 핵심 비즈니스 역량을 분산시키는 리스크가 되기 때문이다.

일레븐랩스(ElevenLabs)나 카르테시아(Cartesia), 지역 언어 특화 모델을 만드는 사르밤(Sarvam) 등이 경쟁 구도를 형성하고 있다. 다만 경쟁사들이 오디오 더빙이나 팟캐스트 제작 같은 콘텐츠 생성 영역까지 확장하는 것과 달리, Smallest.ai는 기업용 실시간 대화형 음성 에이전트라는 좁고 깊은 시장에만 집중한다. 튜링 테스트를 통과해 사용자가 AI와 인간을 구분하지 못하게 만드는 것이 이들의 유일한 목표다.

실무적 관찰 지점: 지연 시간과 지능의 분리

음성 AI 도입을 검토하는 실무자가 주목해야 할 지점은 '지연 시간'과 '추론 지능'을 물리적으로 분리해 설계하는 하이브리드 아키텍처다. 모든 과정을 하나의 거대 모델로 처리하려 할 때 발생하는 응답 지연은 음성 UX의 치명적인 결함이 된다. Smallest.ai의 사례처럼 실시간성을 담보하는 가벼운 모델을 전면에 배치하고, 심층 추론이 필요한 시점에만 무거운 모델로 핸드오프(hand-off)하는 구조는 현실적인 대안이 될 수 있다.

특히 고객 접점의 AI를 설계할 때, 기술적 지연을 숨기기 위해 '잠시 확인하겠습니다'와 같은 인간적 행동 패턴을 프로세스에 삽입하는 방식은 단순한 기능 구현보다 사용자 수용도를 높이는 데 효과적이다. 개발자와 기업은 모델의 전체 성능 수치보다, 실제 사용 환경의 소음 처리 능력과 억양 대응력 같은 '음성 특화 뉘앙스'가 채택의 결정적 기준이 된다는 점을 관찰해야 한다.