4B 모델이 프런티어 모델의 검색 정확도를 따라잡은 방법

멀티턴 검색 요청을 처리할 때 GPT-5.6 Sol 모델은 한 번의 요청에 약 0.03달러의 비용이 발생하며, 응답까지 10초 이상의 시간이 소요된다. 반면 RL(강화학습) 사후 학습을 거친 4B 규모의 오픈소스 모델은 이와 대등한 검색 정확도를 보이면서도 비용은 100배 더 저렴하다. 이러한 성능 격차를 줄인 핵심 도구는 Castform이다.

학습 과정은 '과제-환경-보상 함수'라는 세 가지 요소의 루프로 작동한다. 먼저 사용자의 질문에 답하는 과제를 설정하고, 모델이 구동될 검색 도구 환경을 제공하며, 마지막으로 답변의 정확성을 측정하는 보상 함수를 적용한다. 모델이 도구를 사용해 과제를 수행하면 보상 함수가 점수를 매기고, 이 피드백 신호가 모델의 성능을 최적화하는 방향으로 가이드한다. 특히 보상 함수는 단순히 정답 여부만 따지는 것이 아니라, 올바른 텍스트 덩어리(chunk)를 찾아냈는지, 정확한 출처를 인용했는지, 최종 답변이 적절한지를 세부적으로 평가한다.

기업이 사후 학습에 어려움을 겪는 지점은 학습에 필요한 깨끗한 데이터셋과 보상 함수를 직접 만들기 어렵다는 점이다. Castform은 기업이 이미 보유한 내부 말뭉치(corpus)를 학습 과제로 자동 변환함으로써 이 과정을 단순화했다. 개발자는 ML(머신러닝)이나 GPU 내부 구조를 깊게 다루지 않고도, 프롬프트 엔지니어링을 하는 것처럼 모델의 사후 학습을 설계할 수 있다.

단순 RAG에서 '에이전틱 검색'으로의 전환과 인프라 변화

2022년까지의 업계 흐름은 임베딩 검색 기반의 RAG(검색 증강 생성) 파이프라인을 구축하는 데 집중되었다. 당시에는 단일 쿼리를 통해 유사한 문서를 찾아 LLM에 전달하는 '원샷 검색' 방식이 주류였으며, Neon의 pgvector 같은 확장 기능이 널리 쓰였다. 하지만 2025년에 들어서며 복잡한 문제를 작은 단위로 쪼개어 해결하는 '에이전틱 검색(Agentic Retrieval)'으로 흐름이 바뀌고 있다.

에이전틱 검색은 모델이 계획을 세우고 루프를 돌며 여러 번 검색을 수행하는 멀티홉(multi-hop) 워크플로우를 가진다. 문제는 루프가 반복될 때마다 프런티어 모델의 API를 호출해야 하므로, 사용자 요청당 전체 비용과 지연 시간이 급격히 증가한다는 점이다. 이 지점에서 비용 효율적인 소형 오픈소스 모델의 필요성이 커졌으며, 부족한 기본 성능은 특정 작업에 특화된 RL 사후 학습으로 보완하는 전략이 채택되고 있다.

이러한 학습 환경을 뒷받침하는 것은 Neon의 Lakebase Search 인프라다. 수천 개의 병렬 롤아웃(rollout)이 동시에 발생하며 검색 호출이 급증하는 버스트(bursty) 워크로드 상황에서, Neon의 동적 컴퓨팅 스케일링은 최대 용량을 상시 유지할 필요 없이 수요에 따라 자원을 조절한다. 또한 Neon의 브랜칭(branching) 기능은 각 롤아웃에 격리된 데이터베이스 상태를 제공하여, 에이전트가 데이터를 수정하는 학습 과정에서도 다른 롤아웃이나 운영 환경에 영향을 주지 않도록 설계되었다.

프롬프트 엔지니어링을 넘어 사후 학습으로 이동하는 개발 환경

그동안 많은 기업이 모델 성능을 높이기 위해 프롬프트를 정교하게 짜는 방식에 의존해 왔으나, 이제는 보유한 데이터를 모델 자체에 내재화하는 사후 학습으로 선택지가 확장되었다. 특히 검색과 같은 특정 태스크에서는 범용 프런티어 모델을 사용하는 것보다, 내부 데이터를 활용해 튜닝된 소형 모델을 쓰는 것이 비용과 속도 면에서 압도적인 우위를 점할 수 있음이 확인되었다.

한국의 AI 실무자와 개발자가 주목해야 할 지점은 '데이터 엔지니어링의 자동화'와 '보상 함수 설계'다. 단순히 데이터를 벡터 DB에 넣는 RAG 단계를 넘어, 내부 문서를 학습용 질의응답 데이터셋으로 변환하고 모델의 행동을 제어하는 보상 체계를 구축하는 것이 새로운 경쟁력이 된다. 특히 상태 저장형(stateful) 에이전트를 학습시키기 위해 격리된 환경을 저렴하게 생성하고 리셋할 수 있는 인프라 구조를 확보하는 것이 중요하다.

결국 개발자의 역할은 모델의 가중치를 직접 수정하는 ML 엔지니어링에서, 모델이 어떤 보상을 받아야 올바른 검색 경로를 찾을지 정의하는 '보상 설계자'의 역할로 이동하고 있다. 기업 내부의 지식 베이스를 단순한 참조용 문서가 아니라, 소형 모델을 고성능 에이전트로 진화시키는 학습 재료로 바라보는 관점의 전환이 필요하다.