4~9세 아동을 위한 서브초 응답 시스템의 구현

이번에 공개된 AI 튜터의 핵심 목표는 4~9세 아동이 학습 흐름을 놓치지 않도록 모든 턴에서 1초 미만(sub-second)의 응답 속도를 구현하는 것이다. 아동은 2초의 정적만으로도 주의력이 분산되어 학습이 중단되는 특성이 있기 때문이다. 개발팀은 단순히 빠른 모델을 쓰는 대신, 생성과 실행을 분리한 '커스텀 하네스(Custom Harness)'를 구축했다.

작동 방식은 모델이 하나의 응답 내에서 여러 액션을 스트리밍하면, 인터프리터가 모델의 생성이 끝나기 전부터 각 액션을 파싱해 즉시 실행하는 구조다. 이를 통해 사용자는 전체 응답이 완료될 때까지 기다리지 않고 약 30토큰 시점에서 첫 번째 액션을 바로 경험하게 된다. 또한, 실시간 상호작용을 담당하는 '컨버서(Converser)' 에이전트와 교육 목표를 검토하고 맥락을 관리하는 '플래너(Planner)' 에이전트를 분리해 운영한다.

플래너는 아동이 생각하거나 말하는 간극에 비동기(Async)로 작동하며, 다음 단계를 추론한다. 특히 닫힌 질문(빈칸 채우기 등)의 경우, 아동의 예상 답변을 미리 가설로 세워 응답을 사전 생성(Pre-generate)해두는 방식을 사용했다. 안전 시스템 역시 생성과 실행 사이에 배치했다. 안전 분류기가 작동하는 500~1000ms 동안 '공감형 즉각 응답(Eager response)'을 먼저 내보내 지연 시간을 숨기고, 분류 결과가 안전함이 확인되면 본 응답을 이어가는 병렬 구조를 취했다.

'백그라운드 작업' 중심의 프레임워크에서 '실시간 루프'로의 전환

이번 사례는 현재 AI 에이전트 시장의 주류인 '툴 루프(Tool Loop)' 방식의 한계를 명확히 보여준다. 일반적인 에이전트 패턴은 LLM이 도구 호출을 출력하고, 실행 결과를 관찰한 뒤 다음 행동을 결정한다. 이 과정에서 프런티어 모델의 첫 토큰 생성 시간과 왕복 지연 시간이 더해지면 문장 사이에 3~4초의 공백이 발생한다.

시장의 기존 에이전트 프레임워크들은 주로 속도와 추론의 트레이드오프가 용인되는 '백그라운드 작업'에 최적화되어 있다. 하지만 교육과 같은 실시간 학습 영역에서는 이러한 지연이 곧 서비스의 실패로 이어진다. 개발팀은 소형 모델을 사용해 속도를 높이려 했으나, 소형 모델은 교육학적 지침(정답을 바로 알려주지 않고 힌트를 주는 등)을 정교하게 따르지 못하는 한계가 있었다.

결국 성능(품질)과 속도를 동시에 잡기 위해 프레임워크에 의존하는 대신 루프 자체를 직접 소유하는 방향을 택했다. 이는 AI 서비스의 경쟁력이 단순히 어떤 모델을 선택하느냐가 아니라, 모델의 생성 주기와 사용자의 경험 주기를 어떻게 일치시키느냐는 '시스템 엔지니어링'의 영역으로 옮겨가고 있음을 의미한다.

한국 AI 실무자가 주목해야 할 제어권과 비용의 트레이드오프

실시간 AI 서비스를 설계하는 개발자와 기획자는 이번 사례에서 '비동기 추론'과 '실행 게이팅'의 실무적 적용 방식을 관찰해야 한다. 특히 복잡한 추론이 필요한 '플래너' 역할을 비동기로 분리해 사용자 경험(UX)의 지연을 막으면서도, 내부적으로는 고성능 모델의 추론 능력을 활용하는 구조는 응답 속도가 중요한 한국 시장의 B2C 서비스에 직접적으로 적용 가능한 전략이다.

다만, 이러한 구조는 비용 상승과 관리 복잡도를 수반한다. 플래너가 매 턴마다 고성능 모델로 작동해야 하며, 두 개의 에이전트가 공유 상태를 읽고 쓰기 위해 '추가 전용 로그(Append-only log)' 같은 불변 이벤트 저장소를 별도로 구축해야 한다. 또한, 사전 생성(Pre-generation) 방식은 예측이 틀렸을 때의 비용 낭비와 오답 가능성을 내포한다.

가장 유의할 지점은 안전 장치의 배치다. 단순한 규칙 기반 필터링이 아니라 LLM 기반의 안전 분류기를 사용하면서도 지연 시간을 없애기 위해 '생성'이 아닌 '실행' 단계에서 게이트를 치는 방식은, 규제 리스크가 높거나 아동·노약자 등 민감한 타겟을 대상으로 하는 AI 서비스에서 필수적인 설계 패턴이 될 가능성이 높다.