AI 모델 라우팅 서비스인 'Router'를 출시했다

2026년 말까지 이용료가 무료이며 26달러의 크레딧을 제공하는 조건으로 미국 시장에 AI 모델 라우팅 서비스가 공개됐다. Ramp(램프)가 수요일 저녁에 선보인 'Router(라우터)'는 API(응용 프로그램 인터페이스, 소프트웨어 간 소통 창구) 하나로 OpenAI나 Anthropic 같은 다양한 대규모 언어 모델을 갈아타며 쓸 수 있게 돕는다. 사용자와 기업이 여러 AI 모델을 일일이 연결할 필요 없이 하나의 창구에서 관리하고 즉각적으로 전환하는 방식이다.

Ramp는 지난 3년 동안 기업 내부의 AI 요구 사항을 처리하기 위해 이 시스템을 직접 만들어 사용해 왔다. 내부적으로 검증을 마친 기술을 외부로 확장해 기업들이 상황에 맞는 LLM(대규모 언어 모델)을 더 효율적으로 선택하고 전환하는 환경을 제공한다.

서비스 이용 자체는 2026년 말까지 무료로 제공되지만, AI 모델이 답을 내놓기 위해 계산하는 추론 비용(inference costs)은 사용자가 별도로 지불해야 한다. 현재 이 서비스는 미국 내에서만 이용할 수 있다.

기술이 실제로 작동하는 방식

여덟 곳의 서로 다른 AI 모델 제공업체를 하나의 통로로 연결해 필요에 따라 골라 쓸 수 있다. OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI, Z.ai의 모델에 모두 접근 가능한 구조다. 사용자는 각 제공업체가 설정한 유연한 사용량 등급(flex usage tiers)에 맞춰 선호도를 지정해 요청을 보낸다.

모델의 성능을 측정하는 표준 시험인 벤치마크 결과에 따라 요청을 배분하는 맞춤형 전략을 짠다. 단순한 질문은 가벼운 모델에 맡기고, 정답을 내기 까다로운 어려운 문제만 비용이 높은 고성능 모델로 보내는 식이다. 문제 난이도에 따라 모델을 자동으로 갈아타며 불필요한 비용 지출을 막는다.

실시간 대시보드에서는 토큰 사용량과 지출 비용을 한눈에 확인한다. 응답 속도를 뜻하는 지연 시간(latency)과 첫 번째 모델이 응답에 실패했을 때 다른 모델로 다시 시도한 횟수인 폴백 시도(fallback attempts) 기록도 함께 제공한다. 운영자는 이 수치들을 통해 서비스가 얼마나 빠르게, 그리고 안정적으로 작동하는지 정밀하게 모니터링한다.

Router를 통해 AI 추론 시장 진출 및 기존 지출 관리

AI 토큰 사용량을 지켜보고 지출을 관리하는 기존 기능들이 라우팅 서비스와 결합한다. Ramp(기업 지출 관리 플랫폼)는 Router를 통해 폭발적으로 성장하는 AI 추론 시장의 기회를 잡으려 한다. 토큰 사용량 모니터링과 지출 관리라는 기존 강점을 활용해 새로운 고객 접점을 만들고, AI 랩이나 추론 제공업체와 관계를 맺으려는 전략이다. 기존 지출 관리 제품과 라우팅 서비스가 자연스럽게 어우러지게 하여 제품 간 시너지를 극대화하려는 의도가 담겨 있다.

작동 방식은 OpenRouter(여러 AI 모델을 하나의 API로 연결해주는 서비스)와 매우 비슷하다. 사용자가 여러 모델을 효율적으로 갈아타며 사용할 수 있는 환경을 제공하는 점이 닮았다. 다만 현재 Ramp가 제공하는 모델 선택지는 OpenRouter보다 적은 편이다. 기능적인 흐름은 유사하지만, 선택할 수 있는 모델의 가짓수에서는 차이가 있다.

단일 API 대시보드에서 모델별 비용과 지연 시간, 오류 발생 시 대체 모델이 작동하는 폴백(오류 시 대체 모델 작동) 시도를 비교해 최적의 모델을 골라야 한다. 서비스 목적에 따라 벤치마크 기반, 비용 기반, 혹은 문제 난이도 기반 라우팅 전략 중 하나를 선택하는 것이 구체적인 실행 기준이다.