식당 주인이 바쁜 점심시간에 급하게 보낸 문자 메시지나 손으로 쓴 메모, 혹은 음성 메시지가 유통사 담당자의 메일함에 무질서하게 쌓여 있다. 담당자는 이 비정형 데이터를 하나하나 읽어내어 기업 내부 시스템에 수동으로 입력해야 하며, 이 과정에서 오타가 발생하거나 주문이 누락되는 운영상의 마찰이 반복된다.

Choco의 AI 에이전트 도입 수치와 도구

Choco(식품 및 음료 유통 현대화 플랫폼)는 미국, 영국, 유럽, GCC 지역의 유통사 21,000곳과 구매자 100,000명을 연결하고 있다. 이들은 OpenAI API를 통해 연간 1억 건 이상의 주문을 처리하며, 프로덕션 환경에서 1조 개 이상의 AI 토큰(LLM이 처리하는 텍스트의 기본 단위)을 소모한다.

구체적으로 OrderAgent(멀티모달 입력을 구조화된 데이터로 변환하는 도구)는 이메일, SMS, 이미지, 문서를 ERP(전사적 자원 관리 시스템)에 즉시 입력 가능한 형태로 변환한다. 또한 OpenAI의 Realtime API(실시간 음성-텍스트 상호작용 API)를 기반으로 한 VoiceAgent(전화 주문 자동화 에이전트)를 통해 1초 미만의 지연 시간으로 영업시간 외에도 자연스러운 전화 주문 접수를 수행한다.

이 시스템 도입 결과 수동 주문 입력 작업이 80% 감소했으며, 추가 인력 채용 없이 영업팀 생산성이 2배 증가했다. OpenAI는 모델 성능과 멀티모달 능력, 구조화된 출력 기능, 그리고 대규모 환경에서의 신뢰성을 근거로 선택되었다.

워크플로우 소프트웨어에서 실행 인프라로의 전환

예전에는 사람이 이메일이나 메모를 일일이 읽고 ERP 시스템에 수동으로 옮겨 적는 방식이 표준이었다. 이제는 사용자가 주문 방식을 바꿀 필요 없이, 시스템이 텍스트, 시각, 오디오 데이터를 통합 처리하여 즉시 실행 가능한 명령으로 바꾸는 구조로 전환되었다.

단순히 업무 흐름을 관리하는 소프트웨어에서 AI가 직접 업무를 수행하는 실행 인프라로 성격이 변한 것이다. 개발팀은 OpenAI SDK(소프트웨어 개발 키트)와 API를 활용해 Speech-to-Text(음성을 텍스트로 변환하는 기술), Embeddings(텍스트를 벡터 숫자로 변환하는 기술), Function Calling(LLM이 외부 함수를 호출하게 하는 기능)을 인프라에 통합했다.

정확도를 확보하기 위해 Ground-truth dataset(정답이 명확히 정의된 데이터셋) 기반의 평가 프레임워크와 지속적인 모니터링, A/B 테스트(두 가지 시안을 비교해 성과를 측정하는 실험)를 적용했다. 이 과정에서 엔지니어가 아닌 일반 사용자도 AI 시스템을 설계하고 관리하는 에이전트 오케스트레이터(AI 에이전트들의 협업을 설계하는 관리자) 역할을 수행하게 되었다.

이제 기업용 소프트웨어의 경쟁력은 UI의 편리함이 아니라, 비정형 데이터를 얼마나 정확하게 실행 가능한 명령으로 변환하느냐에 달려 있다.