AI 지출 추적과 비용 통제를 위한 사실 관계

R&D 인건비의 40%가 AI 토큰 비용으로 지출될 뻔한 상황이 이번 제품 개발의 배경이다. Rippling은 올해 초 AI 도입을 가속화하는 과정에서 토큰 비용이 매월 80%씩 증가하는 추세를 확인했다. 이 추세가 지속될 경우 1년 뒤에는 AI 토큰 비용이 R&D 부문 전체 보상 비용의 90%에 육박할 것이라는 분석이 나왔다.

비용 분석 결과, 전체 AI 지출의 약 60%가 상위 10~15%의 직원들에 의해 발생했다. 특히 특정 엔지니어 한 명이 한 달에 5만 달러(약 6,700만 원)의 토큰 비용을 사용하는 사례가 발견됐다. 이러한 비용 낭비의 주된 원인은 직원들이 모든 작업에 가장 최신이며 비용이 높은 프론티어 모델을 기본값으로 사용했기 때문이다.

이에 대응해 공개된 'AI Spend Console'은 개별 직원, 팀, 역할별 지출 규모를 매핑하고 이를 실제 생산성 향상과 연결해 추적한다. 단순히 비용을 제한하는 것이 아니라, 코드 리뷰에서 동료들이 수정을 자주 요청하는 엔지니어가 높은 AI 비용을 쓰고 있지는 않은지 등 'AI 슬롭(AI slop, 저품질 AI 생성물)' 생산 여부를 가려내는 데 초점을 맞춘다.

AI 게이트웨이 작동 방식과 모델 라우팅 효율

핵심 기제는 프롬프트를 가장 비용 효율적인 모델로 전달하는 AI 게이트웨이다. Rippling은 기업이 단일 모델에 의존하지 않고 다양한 가격대의 모델과 오픈 웨이트(Open-weight) 모델을 혼합해 사용해야 한다는 결론을 내렸다. 자체 벤치마크 결과, SpaceX의 Grok이 전반적인 성능에서 우위를 보였으나, 코딩 작업에서는 Z.ai의 GLM 5.2가 프론티어 모델과 거의 동일한 성능을 내면서도 비용은 85% 더 저렴한 것으로 나타났다.

AI Spend Console의 대시보드는 일일 프롬프트 수와 업무 산출물(코드 라인 수, 풀 리퀘스트(Pull Request) 수) 및 지출 비용을 결합해 점수를 산출한다. 사용자가 AI 게이트웨이를 통해 적절한 모델로 라우팅되면, 동일한 토큰 양을 소비하더라도 비용을 획기적으로 낮출 수 있다. 실제로 Rippling은 4월에 6,050억 개의 토큰을 소비했을 때보다, 유사한 사용량(6,000억 개)을 기록한 7월의 토큰 비용이 4월 대비 37% 수준으로 감소했다고 밝혔다.

기술적 제어 외에 운영 효율을 높이기 위해 AI를 효과적으로 사용하는 인원을 'AI 캡틴'으로 지정해 사내 교육을 진행하는 방식을 병행했다. 현재는 소프트웨어 엔지니어링 부문에서 주로 활용되고 있으며, 고객 온보딩 팀의 메일 데이터 자동화 및 데이터 정합성 확인 작업으로 적용 범위를 넓혀 온보딩 고객 수 증가라는 생산성 지표와 토큰 소비량을 연동하는 작업을 진행 중이다.

도입 시 고려해야 할 운영 및 비용 판단 기준

AI Spend Console은 Rippling HR 구독자에게 제공되며, 별도의 AI 사용량 기반 비용이 추가된다. 기존에 다른 AI 게이트웨이를 사용하는 기업도 제품 도입은 가능하지만, 지출 제어 기능을 완전히 활용하려면 Rippling의 게이트웨이를 통해 트래픽을 처리해야 한다.

실무자는 AI 접근 권한을 슬랙(Slack)이나 이메일처럼 모든 직원에게 무제한으로 개방하는 방식에서 벗어나, G&A(일반 관리비) 및 고객 접점 부서의 토큰 소비량이 실제 생산성 지표로 환산되는지를 먼저 검증해야 한다. 생산성 연동 측정 체계가 갖춰지지 않은 상태에서의 무분별한 AI 접근 권한 부여는 통제 불가능한 비용 상승으로 이어질 수 있음을 유의해야 한다.