벤치마크와 실전의 간극, '도구 사용 자동 완성기'의 한계

ChatGPT나 AI 에이전트가 정해진 정답은 정확히 출력하지만, API 호출 오류나 학습하지 않은 워크플로우 같은 돌발 상황에서는 쉽게 작동을 멈춘다. 벤치마크 점수가 높은 모델이라도 실제 환경의 변수를 처리하지 못하면, 이는 진정한 에이전트가 아니라 도구를 사용하는 '자동 완성기(Autocompleter)'에 불과하다. 에이전트가 실전 능력을 갖추기 위해서는 소프트웨어 엔지니어링 트레이스(Trace, 실행 경로 기록), 도구 사용 실패 사례, 다단계 추론, 검색, 안전성, 사용자 시뮬레이션, 워크플로우 실행 및 물리적 세계 상호작용 데이터가 필수적이다.

이러한 데이터 문제는 모델의 가중치(Weights)만으로는 해결할 수 없다. 에이전트의 행동을 검사하고 설명 가능하게 만들려면 모델을 형성한 데이터셋, 큐레이션 선택, 학습 레시피, 평가 방법이 함께 공개되어야 한다. 개발자는 모델이 도구를 호출하고 시스템 전반에서 행동하는 근거가 되는 데이터를 이해함으로써, 벤치마크 수치를 넘어 실제 환경에서 복구 능력을 갖춘 에이전트를 설계할 수 있다.

10조 개 토큰과 수백만 개 샘플, Nemotron 오픈 데이터의 규모

엔비디아는 에이전트의 실전 성능을 높이기 위해 10조 개 이상의 사전 학습 토큰과 수백만 개의 사후 학습 샘플을 포함한 Nemotron 오픈 데이터를 공개했다. 사후 학습 샘플은 모델의 기본 능력을 특정 목적에 맞게 미세 조정하는 데이터로, 앞서 언급한 도구 사용 실패 사례와 다단계 추론 등 에이전트 동작에 특화된 데이터 셰이프(Data shapes)를 포함한다. 이를 통해 모델은 단순 텍스트 생성을 넘어 복잡한 워크플로우를 실행하는 능력을 확보한다.

데이터셋의 기술적 영향력은 학계의 인용 수치로 증명된다. 국제 머신러닝 학회(ICML)에서 발표된 논문 중 약 145편이 Nemotron 모델과 데이터셋을 인용하며 그 효용성을 입증했다. 개발자는 Hugging Face에서 Nemotron 모델과 데이터셋을 내려받을 수 있으며, build.nvidia.com에서 NIM 마이크로서비스와 개발자 예제를 통해 실제 구현 사례를 확인할 수 있다. 엔비디아는 데이터셋을 공개함으로써 기업이 고유한 워크플로우나 고객 패턴 같은 비밀을 노출하지 않고도 유용한 신호를 공유하는 생태계를 구축한다.

Prompt Atlas와 NeMo Data Designer를 통한 데이터 큐레이션

방대한 양의 데이터를 효율적으로 탐색하기 위해 엔비디아는 Nemotron Post-Training v3 Prompt Atlas를 구축했다. Prompt Atlas는 Nemotron v3 사후 학습 컬렉션에서 추출한 프롬프트 샘플을 점으로 표시한 인터랙티브 시각화 지도다. 이 도구는 전체 데이터의 비율에 맞춰 표본을 추출하는 볼륨 샘플링(Volume-sampling)을 적용하여 데이터 혼합 비율을 정직하게 반영한다. 개발자는 컬러 오버레이와 필터를 사용해 데이터셋, 파이프라인 단계, 도메인, 도구 사용 여부에 따라 지도를 재구성할 수 있다.

의미가 유사한 프롬프트가 함께 뭉치는 클러스터링 특성을 활용하면, 개발자는 코딩 알고리즘, 안전성, 수학, 에이전트 동작 영역을 확대해 대표 샘플을 검사할 수 있다. 이 신호를 바탕으로 데이터를 큐레이션하거나 평가 지표를 수립하여 모델의 행동 원인을 분석한다. 또한, 엔비디아는 합성 데이터 생성을 위한 Compound-AI 툴링인 NeMo Data Designer를 제공한다. Compound-AI는 여러 AI 모델을 결합해 복잡한 문제를 해결하는 구조를 의미하며, 개발자는 이를 통해 실제 데이터가 부족한 도메인에서도 정밀한 합성 데이터를 생성해 모델의 성능을 보완한다.

기업 비밀 보호와 24억 명의 페르소나 데이터 전략

엔비디아의 브라이언 카탄자로(Bryan Catanzaro) 부사장은 기업이 경쟁 우위를 가진 고유 워크플로우나 고객 패턴 같은 '비밀'을 보호하면서도 AI를 발전시켜야 한다고 강조한다. 합성 데이터(Synthetic data, AI가 생성한 인공 데이터)는 원본 소스를 노출하지 않고 유용한 신호만 보존하여 학습에 활용할 수 있는 해결책이 된다. 이 과정에서 실제 워크플로우, 인간 피드백, 모델 생성 트레이스, 시뮬레이션 사용자가 얽히며 데이터가 더 이상 순수하게 실제인지 합성인지 구분할 수 없는 '합성 임계점(Synthetic thresholds)'이 발생한다.

이러한 전략은 지역적 특성을 반영한 Nemotron-Personas로 구체화된다. 영어권 데이터로 학습한 독성 분류기가 한국어나 일본어의 예의 바른 말투 속에 숨겨진 공격성을 놓치는 문제를 해결하기 위해, 엔비디아는 지역 인구 통계와 지리적 통계를 미러링한 합성 페르소나를 구축했다. 엔비디아는 파리 VivaTech에서 10번째 국가 데이터를 추가 출시하며, 현재 24억 명 이상의 인구를 대표하는 데이터셋을 확보했다. 개발자는 이를 통해 서비스가 타겟 사용자의 지역, 언어, 직업군을 정확히 반영하는지 검증하는 로컬리티(Locality) 기준을 확보한다.

합성 데이터의 효용 확보를 위한 문서화와 복구 경로 설계

합성 데이터의 실질적인 효용을 확보하려면 엄격한 문서화 과정이 필수적이다. 개발자는 무엇을 생성했고, 어떤 근거로 설정했으며, 누가 검토했고, 어떤 테스트 목적으로 사용했는지를 명확히 기록해야 한다. 인공 정보로 학습된 시스템이 증가함에 따라 데이터의 계보(Lineage)를 추적하고 검증하는 습관이 에이전트의 신뢰성을 결정하는 기준이 된다. 데이터 품질은 맥락에 따라 다르게 정의되어야 하며, 추론 데이터는 더 어려운 문제와 깨끗한 트레이스가 필요하고, 페르소나 데이터는 분포의 정확성과 지역적 검토가 요구된다.

특히 에이전트 워크플로우(Workflow, 작업 수행 순서)에서는 단순 성공 사례보다 작업의 다양성과 실패 케이스의 커버리지가 중요하다. API 호출 오류 등 예상치 못한 상황에서 시스템이 무너지지 않고 원래 경로로 돌아오는 복구 경로(Recovery paths)를 설계하는 것이 실전 성능의 핵심이다. 엔비디아는 이러한 오픈 데이터의 가치와 구축 방향을 논의하기 위해 2026년 7월 7일 'Why Open Data Matters' 라이브 스트림을 진행했다. 결국 AI 에이전트의 경쟁력은 토큰의 양이 아니라, 예외 상황을 얼마나 촘촘하게 학습시키고 이를 투명하게 문서화했는지에 따라 결정된다.