로봇 학습 데이터 병목을 겨냥한 해법

가장 비싼 모델이 항상 최선의 정답을 제공한다는 생각은 운영 비용의 압박 앞에서 효율성을 잃는다. 특정 하위 작업에서는 거대 모델의 성능을 학습한 소형 모델이 더 빠른 응답과 낮은 비용으로 유사한 결과를 내기 때문이다. Shopify는 내부 플랫폼 Tangle(탱글, 모델 증류 및 배포 관리 도구)을 구축해 이러한 모델 증류 파이프라인을 시각화하고 배포하는 프로세스를 운영한다.

엔지니어가 교사 모델과 학습 데이터, 평가 지표, 그리고 Qwen 3.5와 같은 타겟 모델을 시스템에 입력하면 증류 과정이 시작된다. Opus 4.8 같은 거대 모델의 지식을 소형 모델로 전이시키는 이 파이프라인은 약 하루 뒤에 평가 결과를 반환한다. 반환된 결과에서 속도, 비용, 정확도의 트레이드오프가 적절하다고 판단되면 별도의 승인 절차 없이 즉시 실서비스에 배포하는 구조다.

토큰 소비를 실시간으로 감시하는 모니터링 대시보드와 함께 과도한 사용을 강제로 차단하는 서킷 브레이커(circuit breakers, 리소스 과소비 방지 시스템)를 도입했다. 특정 사용자가 모델을 10시간 이상 장시간 실행하여 대량의 토큰을 소비하는 상황이 발생하면 시스템이 즉시 알림을 보낸다. "이만큼의 비용을 지출하려던 것이 맞느냐"는 확인 과정을 통해 의도치 않은 비용 낭비를 원천적으로 방지한다.

특정 AI 벤더의 모델에 종속되는 락인(Lock-in) 현상을 피하고 작업 성격에 맞는 최적의 소형 모델(SLM, Small Language Model)을 선택해 운영하는 아키텍처를 지향한다. 지연시간과 비용을 동시에 제어하며 모델의 효율성을 극대화하는 운영 기준을 마련했다.

여러 AI 제공업체를 사용할 수 있고 자동 장애

API 업데이트나 갑작스러운 서비스 종료로 연동 기능이 오작동하면 개발자는 코드를 전면 수정해야 하는 상황에 놓인다. Shopify는 이를 해결하기 위해 LLM 프록시(여러 AI 모델로의 요청을 중개하는 계층)를 구축했다. 특정 모델이 중단되거나 변경, 혹은 사라지는 상황에서도 워크플로우 중단 없이 Claude Opus나 GPT 5.5 같은 다른 모델로 자동 전환되는 장애 조치(failover) 시스템을 갖췄다. 모든 엔지니어는 이 프록시를 통해 여러 AI 제공업체에 접근할 수 있으며, 개별 모델의 상태와 관계없이 안정적으로 기능을 수행한다. 이는 기업이 특정 AI 제공업체에 과도하게 종속되는 것을 방지하는 실질적인 장치가 된다.

특정 작업의 효율을 높이기 위해 교사 모델로부터 학습하는 증류(distillation) 전략을 병행한다. 증류는 거대 모델의 지식을 소형 모델에 전이시켜 좁은 범위의 작업에 특화시키는 기법이다. 이를 통해 구축한 SLM(Small Language Model, 특정 목적에 최적화된 소형 언어 모델)은 일반적인 범용 모델보다 특정 상황에서 더 많은 이점을 제공한다. 상인들의 일상적 수고를 덜어주는 AI 어시스턴트 Sidekick이 대표적인 적용 사례다. 기성 범용 모델을 그대로 사용하는 대신, 학습된 소형 모델을 통해 작업별 최적화를 달성하고 운영 효율을 높였다.

확인해야 할 핵심 지점

2배에서 최대 30배에 달하는 비용 절감과 속도 향상은 소형 모델 도입의 실질적 지표다. 지식 증류(거대 모델의 성능을 소형 모델로 전이시키는 기술)를 거친 모델은 범용 모델 대비 운영 효율이 압도적이다. 일부 사례에서는 2배의 효율을 보였으며 극단적인 경우 30배까지 저렴하고 빠르게 작동함이 입증되었다. 이는 단순한 지연 시간 단축이나 비용 감소를 넘어 특정 작업에서 범용 모델보다 더 높은 정확도를 기록하는 결과로 이어진다. 비용과 속도라는 정량적 이점이 정밀도라는 정성적 이점으로 확장되는 지점이다.

특정 AI 제공업체에 종속되는 벤더 록인(Vendor Lock-in, 특정 기업의 기술이나 제품에 종속되어 다른 서비스로 옮기기 어려운 상태)을 방지하는 설계가 필요하다. Shopify는 모델 간 이동이 자유로운 시스템과 견고한 백업 계획을 수립할 것을 권고한다. 서비스 중단이 비즈니스에 미치는 실질적인 영향을 고려하면 유연한 전환 체계를 갖추는 것이 필수적이다. 개별 기능의 세부 구현에 앞서 이를 안정적으로 뒷받침할 인프라를 먼저 구축하는 설계 철학이 요구된다. 인프라가 갖춰지지 않은 상태에서의 기능 구현은 외부 환경 변화에 취약할 수밖에 없다.

운영 비용과 지연 시간을 최적화하면서도 성능을 유지하는 기준은 적절한 모델 선택과 인프라 유연성에 있다. 특정 벤더의 API에 전적으로 의존하지 않고 작업 성격에 맞는 소형 모델을 전략적으로 배치하는 아키텍처가 실무적 대안이 된다. 이는 기술적 종속성을 탈피하고 비즈니스 연속성을 확보하는 방법이다.

특정 모델의 업데이트나 서비스 중단으로 API 연동이 오작동하는 리스크는 상존한다. 쇼피파이는 LLM 프록시를 통한 모델 자동 전환과 지식 증류 파이프라인으로 비용과 속도를 최대 30배 개선하며 대응했다.

핵심은 특정 벤더에 종속되지 않고 작업별 최적의 SLM을 선택해 운영 비용과 지연시간을 제어하는 아키텍처 설계에 있다. 모델의 절대적 성능보다 교체 가능한 구조를 갖췄는지가 비즈니스 연속성을 결정한다.