RTEB 1위 달성과 Nemotron 3 Embed 라인업

회사 내부 데이터를 연결한 AI를 쓰다 보면 정작 필요한 문서를 찾지 못해 엉뚱한 답을 내놓는 경우가 많다. 검색 단계에서 관련성 낮은 문서를 가져오면 이후의 생성 단계가 아무리 뛰어나도 결과는 틀릴 수밖에 없다. 엔비디아는 이러한 검색 정확도를 높이기 위해 Nemotron 3 Embed 모델 컬렉션을 공개했다. 2026년 7월 15일 기준 `Nemotron-3-Embed-8B-BF16` 모델은 RTEB(Retrieval-augmented Text Evaluation Benchmark, 검색 증강 텍스트 평가 벤치마크) 리더보드에서 1위를 기록하며 검색 품질의 기준점을 높였다.

이번 라인업은 성능 중심의 8B 모델과 실제 서비스 배포를 고려한 1B 모델로 나뉜다. 8B 모델은 전체 컬렉션의 품질 상한선을 결정하는 플래그십 역할을 수행하며, 복잡한 쿼리에서도 정밀한 검색 결과를 도출하는 최고 수준의 정확도를 제공한다. 반면 1B 모델은 추론 비용을 낮추고 처리량을 극대화해야 하는 대규모 생산 환경을 위해 BF16(Bfloat16, 수치 표현 범위를 넓혀 학습 안정성을 높인 16비트 부동소수점)과 NVFP4(NVIDIA FP4, 4비트로 정밀도를 낮춰 연산 속도를 높인 포맷) 두 가지 버전으로 제공된다. 개발자는 서비스의 트래픽 규모와 인프라 예산에 따라 최고 성능의 8B 모델을 사용할지, 혹은 추론 효율이 극대화된 1B 모델을 선택할지 결정할 수 있는 선택지를 갖게 된다.

적용 범위는 RAG(Retrieval Augmented Generation, 외부 지식을 검색해 답변 생성 능력을 보강하는 기술)를 비롯해 에이전트 검색, 코드 검색, 에이전트 메모리까지 확장된다. 특히 AI 에이전트가 스스로 정보를 찾고 기억하는 메모리 기능에서 임베딩 모델의 성능은 에이전트의 판단 속도와 직결된다. 검색 품질이 낮으면 에이전트가 불필요한 검색을 반복하거나 잘못된 문맥을 검토하며 토큰을 낭비하게 된다. Nemotron 3 Embed는 이러한 검색 효율을 개선해 전체 시스템의 응답 속도를 높이는 데 집중했다.

모델의 성능 검증에는 RTEB 외에도 ViDoRe V3 Text, MMTEB Retrieval, LongEmbed 등 4가지 주요 벤치마크가 사용되었다. 평가 지표로는 평균 NDCG@10(Normalized Discounted Cumulative Gain, 상위 10개 결과의 순위 정확도를 정규화한 값)을 적용했다. 이는 단순히 관련 문서를 찾았는지 여부만 따지는 것이 아니라, 가장 정답에 가까운 문서가 상위 순위에 얼마나 정확하게 배치되었는지를 수치화한 지표다. RAG 환경에서는 상위 결과의 정확도가 낮을수록 LLM이 잘못된 문맥을 읽어 환각을 일으킬 가능성이 커지므로 이 수치는 매우 중요하다. 엔비디아는 이 지표를 통해 8B 모델이 검색 정확도의 정점을 찍는 동시에 1B 모델이 실무 수준의 효율성을 확보했음을 증명했다.

8B의 성능을 1B로 압축한 단계적 최적화 구조

보통 모델의 크기를 줄이면 성능이 급격히 떨어진다고 믿는다. 하지만 Nemotron 3 Embed는 거대 모델의 지식을 정교하게 옮겨 담는 방식으로 이 상식을 뒤집었다. 8B 모델은 Ministral-3-8B-Instruct-2512의 인과적 디코더를 양방향 인코더로 변환해 구축했다. 인과적 디코더는 이전 단어들만 보고 다음 단어를 예측하는 구조지만, 양방향 인코더는 문맥의 앞뒤를 동시에 분석해 전체 문장의 의미를 더 정확하게 추출한다. 이 모델은 웹 데이터와 합성 텍스트 쌍을 이용한 대조 학습과 법률, 금융, 의료 등 전문 도메인 데이터셋의 미세 조정을 거쳐 전체 라인업의 성능 상한선을 결정하는 플래그십 모델이자 소형 모델을 위한 교사 모델 역할을 수행한다.

1B 모델은 처음부터 작게 학습시킨 것이 아니라 3B 규모의 모델을 단계적으로 깎아내어 만들었다. 먼저 Ministral-3-3B-Instruct-2512를 기반으로 양방향 적응 레시피를 적용해 3B 리트리버 베이스를 구축했다. 이후 NVIDIA ModelOpt의 `mcore_minitron` NAS 엔진을 사용해 모델 크기를 2B로 압축했다. NAS는 신경망 구조 탐색 기술로, 정해진 파라미터 예산 안에서 은닉층 너비, FFN 크기, 어텐션 헤드 수와 깊이를 정밀하게 탐색해 리트리버 작업에 최적화된 효율적 구조를 찾아낸다. 이 과정을 통해 불필요한 파라미터를 제거하면서도 핵심 연산 능력은 보존했다.

2B 중간 모델의 랭킹 정확도를 회복하기 위해 8B 교사 모델의 지식을 전수하는 지식 증류 과정을 거쳤다. 지식 증류는 거대 모델이 가진 정교한 판단 능력을 작은 모델이 모방하도록 학습시키는 기술이다. 다국어 도메인 리트리버 데이터셋에서 코사인 거리 손실과 평균 제곱 오차 손실을 결합해 학생 모델의 임베딩 벡터를 교사 모델과 일치시켰다. 이러한 ModelOpt 구조적 가지치기와 8B 교사 증류 시퀀스를 한 번 더 반복하여 2B 모델을 최종적인 1.14B 임베딩 모델로 압축했다. 결과적으로 8B 모델의 성능 정수를 유지하면서 추론 비용만 획기적으로 낮춘 구조를 완성했다.

실제 서비스 환경에서의 처리량을 극대화하기 위해 NVIDIA Blackwell 아키텍처 전용 NVFP4 가속을 적용했다. NVFP4는 가중치와 활성화 함수의 정밀도를 4비트로 낮추는 양자화 기술로, 연산 속도를 높이고 메모리 점유율을 줄여 추론 효율을 높인다. 다만 양자화 과정에서 정밀도가 낮아지면 긴 입력 시퀀스를 처리할 때 정확도가 떨어지는 문제가 발생한다. 이를 해결하기 위해 QAD라는 양자화 인식 증류 기법을 도입했다. QAD는 양자화로 인해 발생하는 오차를 학습 단계에서 미리 반영해 복구하는 방식이다. 이를 통해 1B 모델은 낮은 정밀도 환경에서도 검색 정확도를 유지하며 고속 추론을 수행한다.

검색 정확도가 에이전트 토큰 비용에 미치는 영향

AI 에이전트에게 복잡한 업무를 맡겼을 때, 정답 근처에서 계속 맴돌며 같은 질문을 반복하거나 엉뚱한 문서를 읽느라 시간을 끄는 모습을 본 적이 있을 것이다. 사용자가 느끼는 이러한 답답함은 기술적으로 검색 모델이 필요한 정보를 한 번에 정확히 찾아내지 못해 발생하는 추론의 낭비다. 엔비디아는 이러한 문제를 검증하기 위해 Nemotron 3 Ultra를 검색 에이전트로 설정하고, 하단에 연결되는 임베딩 모델의 성능에 따라 전체 토큰 비용이 어떻게 변하는지 측정하는 효율성 테스트를 진행했다. 테스트 결과 Nemotron-3-Embed-8B 모델이 가장 높은 검색 정확도를 기록했으며, 동시에 ViDoRe V3, BRIGHT, BrowseComp-Plus 벤치마크 전반에서 가장 낮은 추론 토큰 비용을 보였다. 이는 검색 모델의 정확도 향상이 단순히 답변의 질을 높이는 수준을 넘어, AI 에이전트가 정답에 도달하기까지 소모하는 계산 자원과 비용을 직접적으로 줄이는 핵심 변수임을 의미한다.

추론 비용이 낮아지는 구체적인 이유는 검색 정확도와 에이전트의 행동 패턴 사이에 밀접한 상관관계가 존재하기 때문이다. 검색 모델의 성능이 낮으면 에이전트는 첫 번째 검색 결과에서 충분한 근거를 찾지 못해 다시 검색어를 수정하거나 다른 문서를 요청하는 반복 검색 과정을 거치게 된다. 반면 정확도가 높은 모델은 에이전트가 필요로 하는 핵심 증거를 더 이른 단계에서 정확하게 제공한다. 증거가 빠르게 확보되면 에이전트는 불필요한 추론 단계나 추가적인 문맥 검토 과정을 생략하고 즉시 최종 결론을 도출할 수 있다. 이번 평가에서 추론 토큰 비용은 GPT-5.5 가격 산정 방식을 적용하여 Nemotron 3 Ultra의 입력 및 출력 토큰 수를 기반으로 추산했다. 결과적으로 8B 모델은 가장 정교한 검색 능력을 통해 에이전트의 불필요한 사고 과정을 최소화했으며, 이는 곧바로 기업의 API 호출 비용 절감이라는 실무적 이득으로 연결된다.

고성능 모델이 주는 비용 절감 효과를 실제 서비스 규모에서 구현하려면, 모델을 구동하는 서빙 스택의 처리 효율이 반드시 뒷받침되어야 한다. 엔비디아는 이를 위해 Rust 언어로 개발하여 메모리 안전성과 속도를 높인 Nemotron 3 Embed NIM(엔비디아 최적화 추론 마이크로서비스)을 제공한다. 이 최적화 마이크로서비스를 NVIDIA GB200 및 RTX PRO 6000 GPU 환경에서 구동하여 성능을 측정한 결과, vLLM(대규모 언어 모델 추론 및 서빙 라이브러리) 체크포인트를 사용했을 때와 대등하거나 오히려 이를 상회하는 처리 성능을 기록했다. 특히 입력 시퀀스 길이(ISL, 모델이 한 번에 처리하는 텍스트의 길이)가 256과 1024인 두 가지 조건 모두에서 일관되게 높은 효율을 보였다. 이는 8B 모델이 제공하는 낮은 토큰 비용의 이점이 최적화된 인프라를 통해 실제 서비스의 지연 시간 단축과 처리량 증가라는 물리적 성능 향상으로 완성됨을 보여준다.

오픈 소스 레시피를 통한 실무 도입과 최적화

기성복이 모든 사람의 몸에 딱 맞지 않듯, 범용 모델을 그대로 쓰는 것이 항상 최선의 정답은 아니다. 아무리 성능이 좋은 임베딩 모델이라도 기업 내부의 특수한 전문 용어나 도메인 지식이 반영되지 않으면 검색 품질이 급격히 떨어지기 때문이다. 엔비디아는 이를 해결하기 위해 Nemotron 3 Embed의 오픈 가중치(모델이 학습을 통해 얻은 파라미터 값)와 오픈 소스 학습 레시피(모델 학습에 사용된 설정과 절차)를 모두 공개했다. 기업이 자신의 데이터에 맞춰 모델을 직접 튜닝해 검색 성능을 최적화할 수 있는 제어권을 완전히 제공한 것이다. 이는 모델의 내부 동작을 블랙박스 형태로 사용하는 기존 방식에서 벗어나, 기업이 직접 성능의 상한선을 결정할 수 있는 환경을 구축했음을 뜻한다.

실제 구현을 위해 NVIDIA NeMo AutoModel 학습 레시피를 제공한다. NeMo AutoModel은 거대 모델의 학습과 최적화 과정을 자동화하는 프레임워크다. 개발자는 이 레시피를 활용해 특정 산업군이나 기업 내부 문서에 최적화된 파인튜닝을 수행할 수 있다. 단순히 공개된 모델을 가져다 쓰는 단계를 넘어, 기업의 도메인 특성에 맞게 모델의 내부 동작을 수정하는 실무적 경로를 열어준 셈이다. 특히 데이터의 특성에 따라 학습률이나 배치 크기 같은 세부 설정을 조정하며 최적의 검색 정확도를 찾아가는 과정이 가능해진다.

튜닝의 효과는 구체적인 수치로 증명된다. NV Docs 평가 데이터셋을 통해 Nemotron-3-Embed-1B-BF16 모델을 파인튜닝한 결과, NDCG@10(상위 10개 결과의 순위 정확도를 측정하는 지표)이 56.7%에서 63.3%로 11.6% 상승했다. 동시에 Recall@5(상위 5개 결과 내에 정답이 포함된 비율) 역시 56.1%에서 62.8%로 11.9% 개선되었다. 이는 적절한 학습 레시피와 도메인 데이터가 결합했을 때, 1B 규모의 작은 모델로도 상당한 수준의 검색 정확도 향상을 끌어낼 수 있음을 보여준다. 결과적으로 기업은 추론 비용을 낮게 유지하면서도 특정 도메인에서는 대형 모델에 근접한 성능을 확보할 수 있다.

배포 환경은 인프라 상황에 따라 세 가지 옵션으로 나뉜다. 모델 가중치를 직접 내려받아 자유롭게 구성하려는 개발자는 Hugging Face를 이용한다. 관리형 플랫폼을 통해 빠르게 확장하려는 기업은 NVIDIA AI Cloud를 선택한다. 고성능 추론 환경이 필요한 생산 시스템에는 NVIDIA NIM(엔비디아 최적화 추론 마이크로서비스)을 통해 마이크로서비스 형태로 배포한다. 각 옵션은 모델의 성능을 유지하면서도 기업의 예산과 운영 규모에 맞는 최적의 서빙 지점을 선택하게 한다. 이를 통해 개발자는 프로토타입 단계의 실험부터 대규모 상용 서비스 배포까지 동일한 모델 생태계 내에서 유연하게 전환할 수 있다.

RAG 환경에서 AI가 엉뚱한 답을 내놓는 불편함은 결국 검색 정확도라는 기초 체력의 문제로 귀결된다. 이제 개발자는 최고 성능의 8B 모델과 추론 비용을 낮춘 1B 모델 중 서비스 규모와 예산에 맞는 선택지를 가질 수 있게 되었다. 본문에서 다룬 모델 최적화 기준과 오픈 소스 레시피를 활용해 인프라 비용과 검색 품질 사이의 최적점을 찾는 것이 실무 도입의 핵심이다. 결국 임베딩 모델의 선택 기준은 단순한 벤치마크 수치가 아니라 실제 서비스의 처리량과 지연 시간 요구치에 따라 결정된다.