facts

0에서 1 사이의 신뢰도 점수가 답변과 함께 구조화된 데이터로 반환된다. Cactus가 공개한 'Cactus Hybrid'는 Gemma 4 E2B 모델의 체크포인트 내부에 '프로브(probe)'를 탑재해, 모델이 생성한 답변이 틀렸을 가능성을 스스로 점수화하도록 사후 학습(post-train)시킨 결과물이다. 답변 텍스트에서 점수를 파싱하는 방식이 아니라, 별도의 데이터 필드로 신뢰도를 제공하는 것이 특징이다.

쿼리의 15~35%만 상위 모델인 Gemini 3.1 Flash-Lite(구글의 경량 모델)로 라우팅하고 나머지는 온디바이스에서 직접 처리했을 때, 대부분의 벤치마크에서 Gemini 3.1 Flash-Lite와 대등한 성능을 보였다. 이는 모델이 자신의 확신 수준에 따라 처리 경로를 결정함으로써 효율성을 극대화했음을 보여준다.

학습 데이터에 없던 영역에서도 유효한 신호가 포착됐다. 해당 프로브는 오디오 데이터를 전혀 학습하지 않았음에도 불구하고, 4개의 오디오 벤치마크(전사 2종, 오디오 MCQ 1종, 도메인 외 전사 1종)에서 0.79~0.88의 AUROC(정답과 오답을 구분하는 능력 수치)를 기록했다. Cactus 측은 이를 통해 프로브가 단순히 학습 데이터의 패턴을 암기한 것이 아니라, 은닉 상태(hidden state)에서 모달리티와 무관한 '정확성 신호'를 읽어내고 있음을 확인했다고 밝혔다.

market-flow

온디바이스 모델의 고질적인 제약은 속도와 프라이버시는 우수하지만, 복잡한 추론에서 정확도가 떨어진다는 점이다. 이번 Cactus Hybrid의 접근 방식은 '채택'의 관점에서 온디바이스와 클라우드 모델을 이분법적으로 선택하는 것이 아니라, 신뢰도 기반의 하이브리드 라우팅으로 연결하는 실무적인 대안을 제시한다.

이러한 흐름은 추론 비용 절감과 사용자 경험 유지라는 두 마리 토끼를 잡으려는 경쟁 구도로 이어진다. 무조건 큰 모델을 호출하는 대신, 온디바이스 모델이 '모르는 것을 안다'고 판단할 때만 상위 모델로 요청을 넘김으로써 API 비용을 획기적으로 낮출 수 있기 때문이다. 특히 특정 모달리티에 종속되지 않는 정답 판단 신호를 활용한다는 점은, 향후 다양한 멀티모달 모델의 효율적인 배포 전략에 영향을 줄 수 있는 지점이다.

reader-impact

실제 배포 환경에서 개발자가 가장 먼저 주의해야 할 부분은 메모리 할당 방식이다. 모델 로드 시 `device_map="auto"`를 사용하면 안 되며, 반드시 `.to(device)`를 통해 명시적으로 장치를 지정해야 한다. 프로브가 모듈의 `forward()` 경로 밖에서 생성물을 점수화하기 때문에, 오프로딩을 가속하는 가중치가 메타 장치(meta device)에 남아 있을 경우 신뢰도 읽기 과정에서 충돌이 발생하기 때문이다.

llama.cpp를 사용하는 환경이라면 추가적인 빌드 과정이 필요하다. 프로브 기능이 C++ 엔진에 패치 형태로 제공되므로, 제공된 `patches/llama.cpp/` 경로의 패치를 컴파일하여 서버를 구축해야 한다. 정상적으로 구축되면 응답 데이터의 최상위 필드에 `confidence` 값이 포함되어 반환된다.

한국의 AI 실무자나 개발자는 Hugging Face의 'Cactus Hybrid collection'을 통해 실제 모델을 검증할 수 있다. 특히 온디바이스 AI 도입 시 정확도 리스크 때문에 망설였던 기업이라면, 이번 사례처럼 '신뢰도 기반 라우팅'을 통해 비용 효율적인 하이브리드 아키텍처를 설계하는 방안을 검토할 필요가 있다. 관련 리소스는 Hugging Face 및 MIT 라이선스 하에 공개되어 있다.