매일 아침 대시보드를 확인하는 창업자들은 전통적인 SaaS(서비스형 소프트웨어) 지표인 DAU(일간 활성 사용자 수)와 MAU(월간 활성 사용자 수)를 보며 성장을 가늠한다. 그러나 최근 AI 제품을 운영하는 팀들 사이에서는 기존 지표가 실제 가치를 반영하지 못한다는 의구심이 확산하고 있다. 사용자가 제품에 머무는 시간이 길어질수록 오히려 AI의 성능이 부족해 고군분투하고 있다는 신호일 수 있기 때문이다. 2013년 출간된 Lean Analytics의 핵심 프레임워크는 여전히 유효하지만, AI라는 변수가 도입되면서 측정해야 할 데이터의 성격은 근본적으로 달라졌다.

AI 제품의 6가지 핵심 지표 변화

전통적인 SaaS는 단계적 온보딩을 통해 가치를 전달했으나, AI 제품에서는 가치 도달 시간(Time to Value)이 붕괴했다. 사용자는 첫 시도에서 전문가 수준의 결과물을 기대하며, 실패 시 즉시 이탈한다. 활성화(Activation) 또한 결정적 이벤트가 아닌 품질 가중 이벤트로 재정의되어야 한다. 인게이지먼트는 단순히 체류 시간이 아닌, AI가 사용자를 대신해 작업하는 시간과 사용자가 AI를 조정하는 시간을 구분하는 방향성 지표가 되었다. 고착성(Stickiness)은 이제 장벽이 아닌 흐름(Flow)으로 이해해야 하며, 사용자의 태스크 다양성과 워크플로 체이닝이 핵심이다. 품질은 이제 배포 후 확인하는 속성이 아니라, eval harness(모델의 성능을 정기적으로 평가하는 도구)를 통해 시계열로 추적해야 하는 일급 지표다. 마지막으로, AI에 대한 사용자의 편안함과 신뢰 수준이 모든 하류 지표를 결정하는 선행 지표로 부상했다.

비용 구조의 변화와 성공 태스크당 가격 모델

예전에는 사용자가 늘어날수록 한계비용이 제로에 수렴했으나, 이제는 파워 유저가 늘어날수록 기업의 손실이 커지는 역방향 구조가 나타난다. 토큰 기반의 가변 비용 구조 때문이다. Intercom의 AI 에이전트인 Fin은 시트당 과금이 아닌 성공적인 해결 건당 0.99달러를 청구하는 결과 기반 가격 모델을 도입했다. 이는 AI 제품의 운영 비용을 수학적으로 정직하게 반영한 사례다. 반면 ElevenLabs는 사용량 기반 과금을 채택했고, Anthropic과 OpenAI는 소비자 구독 경제와 API 사용량 기반 모델을 병행한다. 이제 기업은 활성 사용자 기준의 매출총이익을 추적하고, 성공 태스크당 비용을 CAC(고객 획득 비용) 계산에 포함해야 한다.

AI 시대의 MVP는 가장 위험한 가정을 테스트하는 실험이 아니라, 개선을 자동화하고 측정할 수 있는 최소한의 평가 세트다. 제품의 성패는 이제 감(vibes)이 아닌, 정교하게 설계된 평가 하네스와 단위 경제의 정합성에서 갈린다.