폐쇄형 모델의 높은 API 비용과 데이터 제어권의 한계

기업들은 GPT-4와 같은 고성능 폐쇄형 모델을 사용할 때 발생하는 높은 API 비용과 데이터 제어권 부족 문제에 직면한다. 폐쇄형 모델의 블랙박스 구조는 개발자가 모델의 내부 동작을 직접 수정하거나 비즈니스 특성에 맞게 최적화하는 것을 불가능하게 만든다. 이러한 제약은 기업이 AI 에이전트를 실제 서비스로 확장하려 할 때 실험 횟수를 제한하며, 결과적으로 운영 비용을 기하급수적으로 증가시키는 원인이 된다.

특히 에이전트가 기업의 핵심 시스템 내부에서 직접 행동을 수행하는 단계로 진화함에 따라, 외부 API에 의존하는 구조는 보안 리스크와 거버넌스 공백을 야기한다. 기업은 데이터 유출 위험을 차단하고 물리적인 보안 기반을 구축하기 위해 모델부터 실행 환경까지 전체 스택을 직접 소유하고 제어할 수 있는 대안을 필요로 하게 되었다. 이는 단순한 비용 절감을 넘어 기업의 고유한 전문성을 AI 시스템에 이식하고 독립적인 운영 권한을 확보하기 위한 필수적인 요구사항이다.

재학습 없이 달성한 Nemotron 3 Ultra의 성능 패리티

엔비디아의 Nemotron 3 Ultra는 모델의 가중치를 수정하는 재학습 과정 없이 환경 튜닝만으로 최상위 폐쇄형 모델과 대등한 비즈니스 작업 성능을 달성했다. Nemotron 3 Ultra는 랭체인(LangChain)이 제공하는 AI 에이전트 성능 측정 도구인 'Deep Agents 벤치마크'에서 오픈 모델 중 가장 높은 정확도를 기록했다. 테스트 결과 Nemotron 3 Ultra는 최상위 폐쇄형 모델들과 동등한 수준의 성능 패리티(Parity)를 확보하며, 실제 기업 환경의 전문 에이전트로 즉시 투입 가능한 수준의 정확도를 증명했다.

운영 효율성 측면에서 Nemotron 3 Ultra는 선도적인 폐쇄형 모델 대비 1회 실행당 추론 비용을 10분의 1 수준으로 낮추는 성과를 거두었다. 동시에 더 높은 처리량(Throughput)을 기록하여 동일한 자원으로 더 많은 비즈니스 과업을 동시에 완료할 수 있는 능력을 갖췄다. 기업은 추론 비용을 10배 낮춤으로써 고비용 API 호출 부담 없이 상용 수준의 전문 에이전트를 더 빠르게 실험하고, 성능을 지속적으로 평가할 수 있는 운영 기준을 확보하게 되었다.

시스템 프롬프트와 미들웨어를 조정하는 하네스 엔지니어링

이러한 성능 도약은 모델 자체가 아닌 시스템 프롬프트, 도구 설명, 미들웨어를 조정하는 하네스(Harness) 엔지니어링 방식을 통해 이루어졌다. 하네스란 모델이 외부 환경과 상호작용하며 과업을 수행하도록 돕는 시스템 프롬프트와 도구 호출 체계, 실행 경로 등을 설계하고 조정하는 엔지니어링 기법을 의미한다. 랭체인 팀은 Deep Agents 벤치마크의 실행 추적(Execution Traces)을 정밀하게 분석하여 모델이 도구를 잘못 호출하거나 논리적 추론 단계에서 이탈하여 감점을 받는 정확한 지점을 찾아냈다.

랭체인 팀은 모델을 다시 학습시키는 대신 하네스 주변의 환경을 튜닝하는 전략을 선택했다. 구체적으로 모델의 역할과 제약 조건을 정의하는 시스템 프롬프트, 함수 및 API의 용도를 명시하는 도구 설명, 그리고 외부 시스템을 연결하는 소프트웨어인 미들웨어를 세밀하게 조정했다. 이 과정을 통해 모델은 도구 선택 기준을 명확히 하고 복잡한 지시사항을 누락 없이 처리하게 되었으며, 결과적으로 모델의 체급을 키우지 않고도 실행 환경의 최적화만으로 성능을 극대화했다.

NVIDIA NemoClaw와 오픈 스택 기반의 완전한 소유권

엔비디아는 이러한 튜닝 결과물을 패키징하여 기업이 전문 AI를 구축할 수 있도록 돕는 오픈 레퍼런스 블루프린트인 'NVIDIA NemoClaw'를 공개했다. NVIDIA NemoClaw는 Nemotron 3 Ultra에 최적화된 랭체인 딥 에이전트 코드와 보안 런타임인 'NVIDIA OpenShell'을 결합한 구조다. NVIDIA OpenShell은 에이전트가 외부 시스템에 명령을 내릴 때 이를 안전하게 격리하여 실행함으로써 보안 사고를 방지하는 전용 런타임 환경을 제공한다.

기업은 오픈 모델, 오픈 하네스, 오픈 보안 런타임으로 구성된 전체 스택을 엔드투엔드로 소유함으로써 외부 API 의존성을 완전히 제거할 수 있다. 이러한 오픈 스택 구조는 기업이 자체 인프라나 클라우드 어디서든 독립적인 거버넌스 체계를 구축하고, 비즈니스 특화 전문성을 기반으로 하네스를 커스텀할 수 있게 한다. 특히 데이터 보안이 중요한 금융이나 의료 산업군에서는 데이터 이동 경로를 완전히 추적하고 런타임 수준에서 보안 컴플라이언스를 강제함으로써 고위험 워크플로우에서도 안전하게 에이전트를 운용할 수 있다.

랭체인 생태계의 확산과 글로벌 기업의 실무 도입 사례

월 2억 회 이상의 다운로드를 기록하는 랭체인(LangChain) 플랫폼은 Nemotron 3 Ultra에 최적화된 딥 에이전트 하네스를 직접 제공하여 개발자가 즉시 상용 수준의 에이전트를 구현할 수 있는 기반을 마련했다. Abridge, Amdocs, Box는 랭체인의 튜닝된 하네스를 사용하여 비즈니스 작업의 정확도를 확보하고, 이를 자사 플랫폼과 글로벌 시스템에 직접 임베딩하여 실질적인 업무 자동화를 구현하고 있다. 이는 검증된 플랫폼 위에서 전문 에이전트가 상용 서비스의 일부로 작동할 수 있음을 보여주는 실례다.

글로벌 시스템 통합업체인 EY는 NVIDIA NemoClaw 블루프린트를 활용해 고객사가 고가치 워크플로우에 특화된 전문 에이전트를 직접 커스텀하고 평가하며 거버넌스를 수립하도록 지원하는 역량을 확장하고 있다. 또한 개발자들은 Baseten, Crusoe Cloud, DeepInfra, Fireworks, Nebius, Together AI 플랫폼을 통해 Nemotron 3 Ultra에 접근할 수 있다. 이들 플랫폼은 튜닝된 하네스를 프로덕션 환경에 즉시 배포할 수 있는 호스팅 경로를 제공하여, 기업이 자체 인프라 구축 전 단계에서도 효율적으로 시스템을 실행하고 검증할 수 있도록 돕는다.