프롬프트 구조 기반의 결정론적 라우팅 방식

Wayfinder Router는 프롬프트의 구조와 단어만으로 로컬과 클라우드 모델의 전송 여부를 결정한다. 오타 수정이나 단순 요약 같은 요청은 로컬에서 처리해 최상위 티어 클라우드 모델의 비용 낭비를 막는다.

판단 기준은 프롬프트의 물리적 구조와 특정 키워드다. 전체 길이, 헤딩 유무, 리스트 구성, 코드 포함 여부 같은 구조적 특징을 분석하고 증명, 수학, 엄격한 제약 조건과 같은 단어에 점수를 매긴다. 이 점수를 설정된 임계값과 비교해 복잡도가 낮은 프롬프트는 소형 로컬 모델로, 난도가 높은 프롬프트만 대형 클라우드 모델로 보내는 결정론적 라우팅을 수행한다.

모든 결정 과정은 네트워크 연결이나 API 키 없이 오프라인에서 마이크로초 단위로 이뤄진다. 별도의 모델을 호출하지 않으므로 라우팅 자체에 드는 비용이 없으며, 동일한 프롬프트에는 매번 동일한 결과가 도출된다.

모델 호출 없는 제로 비용 라우팅과 보안 강화

일반적인 라우터는 훈련된 분류기나 LLM 판별기, 호스팅 API를 호출해 요청 방향을 결정한다. 이 과정에서 발생하는 API 호출 비용과 추론 시간은 비용 최적화 목적을 저해하고 결과의 무작위성을 높인다. 반면 Wayfinder Router는 모델 호출 단계를 생략하고 프롬프트의 구조와 단어를 직접 분석해 라우팅 비용을 0으로 만들고 응답 속도를 일정하게 유지한다.

보안 측면에서는 API 키를 로컬 디스크에 저장하지 않고 환경 변수나 외부 시크릿 저장소에서 실시간으로 읽어온다. 모델 설정 시 환경 변수 이름인 `api_key_env`를 지정하면 요청 시점에만 메모리에서 키를 유지해 디스크 유출 사고 시의 노출 위험을 차단한다.

또한 `api_key_cmd` 설정을 통해 외부 시크릿 관리 도구와 직접 연동한다. `op read`(1Password), `security`(macOS Keychain), `secret-tool`(Linux), `pass/gopass`, `vault kv get`, `aws secretsmanager get-secret-value`(AWS Secrets Manager) 등의 명령어를 실행해 시작 시점에 변수를 채움으로써 운영 체제나 클라우드의 보안 저장소를 그대로 활용한다.

폭넓은 호환성과 시맨틱 분석의 한계

설정 과정을 단순화하기 위해 Wayfinder Router는 OpenAI 스타일의 `/chat/completions` 엔드포인트를 지원한다. Groq, Together, OpenRouter, Fireworks, DeepSeek는 물론 vLLM, LM Studio, llama.cpp 같은 로컬 서버와도 호환된다. Bearer 키를 사용하는 모든 OpenAI 호환 엔드포인트라면 연결 가능하다. 개발자는 기존 클라이언트의 `base_url` 설정값만 변경하면 추가 코드 수정 없이 인프라를 교체하고 모델을 전환할 수 있다.

다만 구조적 특징이 없는 순수하게 의미론적인 난이도의 프롬프트는 처리하기 어렵다. 미묘한 코드 스니펫이나 100번째 소수를 묻는 질문처럼 외형적 징후가 없는 경우, 프롬프트 길이와 헤딩만으로는 실제 난이도를 판별할 수 없기 때문이다. 실제로 RouterBench의 짧지만 어려운 항목들에서 무작위 선택보다 나은 성능을 내지 못하는 결과가 확인되었다. 이런 영역에서는 벡터 임베딩으로 의미를 분석하는 시맨틱 라우터(semantic router)를 사용하는 것이 더 효율적이다.

로컬 LLM 도입의 실질적인 병목은 모델의 성능보다 요청을 분류하는 라우팅 로직의 구현 비용에 있다. Wayfinder Router는 프롬프트의 길이와 구조적 특징을 점수화해 분기하는 방식을 통해 라우팅 과정의 추가 비용과 지연 시간을 제거한다.

이제 개발자는 기존 OpenAI API 클라이언트의 base_url만 변경하여 코드 수정 없이 인프라 비용 최적화를 즉시 실행할 수 있다. 복잡한 조건문 대신 구조적 단서를 활용한 라우팅 체계로 전환하는 것이 운영 효율을 높이는 방법이다.