에이전트 AI의 요구와 지속적 사후 학습의 필요성

사용자는 단순한 질문 답변을 넘어 AI가 직접 소프트웨어를 수정하고 업무 프로세스를 완수하는 에이전트 AI(Agentic AI) 기능을 요구하고 있다. 에이전트 모델은 생성형 모델과 달리 목표를 달성하기 위해 스스로 계획을 세우고, 다양한 도구를 사용하며, 실행 중 발생하는 문제에서 회복하는 능력이 필수적이다. 이에 따라 기초 학습 후 모델을 정교하게 다듬는 단계인 사후 학습(Post-training)은 일회성 공정이 아닌 지속적인 루프로 변화했다.

에이전트 AI가 작동하는 환경은 매주 도구가 변경되고 테스트 세트가 예상치 못한 엣지 케이스(Edge cases, 예외 상황)가 발생하는 등 빠르게 변한다. 각 배포 환경은 고유한 코드베이스와 정책을 가지므로, 운영 중 발견된 새로운 문제는 다시 사후 학습으로 피드백되어 모델에 반영되어야 한다. 사후 학습의 연산 규모가 커지는 이유는 단일 실행의 크기가 커져서가 아니라, 환경 변화에 대응하기 위한 학습 실행이 멈추지 않고 계속되기 때문이다. 결과적으로 사후 학습은 에이전트 시대의 핵심 워크로드이자 '달러당 지능'을 결정하는 주된 동인이 된다.

강화학습 루프와 NeMo 인프라를 통한 지능 구축

사후 학습은 모델이 코드 작성, 다단계 작업 계획, 검색 도구 활용 및 오류 복구 능력을 습득하여 실질적인 지능을 구축하는 단계다. 사전 학습이 다음 토큰을 예측하며 유창함을 배우는 과정이라면, 사후 학습은 정답지 대신 보상(Reward)을 통해 학습하는 강화학습(RL) 기법을 활용한다. 모델이 과제 해결을 시도하는 순전파(Forward pass, 추론 과정)를 수행하고, 그 결과에 매겨진 보상을 바탕으로 모델의 가중치를 업데이트하는 역전파(Backward pass)를 거치며 지능이 성장한다.

이러한 강화학습 루프를 대규모로 실행하려면 수천 개의 환경에서 롤아웃(Rollouts, 모델의 실행 경로 생성)을 병렬로 생성하고 가중치를 가속기에 반영하는 오케스트레이션이 필요하다. 엔비디아는 학습 환경 구축을 위한 NeMo Gym과 분산 사후 학습을 위한 NeMo RL 라이브러리를 통해 이를 지원한다. 이 오픈 라이브러리들은 개별적인 연구용 코드를 반복 가능한 표준 인프라로 전환하여 사후 학습의 효율성을 극대화한다. 사후 학습을 통해 모델의 능력이 향상될수록 추론 단계에서 제공되는 모든 토큰의 가치가 상승하는 승수 효과가 발생한다.

토큰당 비용을 넘어 '달러당 지능'으로의 지표 전환

추론 공장의 운영 수익률을 측정하는 지표는 100만 토큰을 제공하는 데 드는 전체 비용인 '토큰당 비용(Cost per token)'이다. 반면 '달러당 지능(Intelligence per dollar)'은 모델을 서비스 가능한 수준으로 구축하고 환경 변화에 맞춰 그 가치를 유지하는 데 드는 비용을 측정하는 상위 개념의 지표다. 토큰당 비용을 낮추는 인프라는 지능 한 단위를 구축하는 비용을 낮추며, 이렇게 구축된 지능은 다시 추론 서비스 토큰의 가치를 높이는 상호 보완적 구조를 가진다.

엔비디아 네모트론 3 울트라(NVIDIA Nemotron 3 Ultra)는 이러한 지능 최적화를 증명하는 5,500억 파라미터 규모의 MoE(Mixture-of-Experts, 입력에 따라 특정 전문가 네트워크만 활성화하는 구조) 모델이다. 이 모델은 NeMo RL로 실행된 사후 학습 레시피를 통해 SWE-bench verified(실제 소프트웨어 버그 수정 벤치마크)에서 71.7%의 점수를 기록했다. 이는 오픈소스 프로젝트의 소프트웨어 버그 10개 중 약 7개를 스스로 수정하고 자체 테스트를 통과했음을 의미하며, 단순 예측을 넘어선 실질적 지능의 구현을 보여준다.

블랙웰에서 베라 루빈으로 이어지는 하드웨어 진화

엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼은 실행당 비용을 낮추어 에이전트 시대가 요구하는 빈번한 사후 학습을 경제적으로 가능하게 만들었다. 블랙웰을 통해 확보된 효율성은 추론되는 모든 토큰의 가치로 환산되어 회수된다. 이어 등장한 엔비디아 베라 루빈(NVIDIA Vera Rubin) 플랫폼은 이 궤적을 더욱 확장하여, 블랙웰 세대보다 4분의 1 수준의 GPU만으로도 가장 큰 규모의 모델을 학습시킬 수 있다.

베라 루빈은 에이전트 사후 학습 부하에서 달러당 지능을 극대화하도록 엔드-투-엔드로 설계되었다. 이를 통해 한 번의 실행당 더 많은 롤아웃을 처리하고, 더 많은 환경을 동시에 운용하며, 중단 없는 사후 학습 사이클을 구현한다. 하드웨어 규모를 줄이면서도 학습 반복 주기를 단축함으로써, 기업은 인프라 비용을 절감하는 동시에 모델의 지능을 빠르게 업데이트할 수 있는 판단 기준을 갖게 된다.

글로벌 AI 기업의 실전 적용 및 최적화 사례

프라임 인텔렉트(Prime Intellect)는 엔비디아 베라(Vera) CPU를 도입해 강화학습 샌드박스 워크로드에서 x86 아키텍처 대비 CPU당 평균 처리량을 30% 향상시켰다. 이들은 NeMo Gym과 네모트론 모델을 소프트웨어 스택에 통합하고, 베라 루빈 플랫폼을 통해 학습-추론 반복 루프를 가속화하여 비즈니스 달러당 지능을 최적화할 계획이다. 저지연 및 에너지 효율적인 강화학습 환경을 구축하여 롤아웃 생성 횟수를 늘리는 것이 핵심이다.

퍼플렉시티(Perplexity)는 수백 개의 GPU에서 비동기적으로 작동하는 사후 학습 스택을 운영하며, RDMA(Remote Direct Memory Access, 원격 직접 메모리 액세스) 기반 가중치 전송 엔진을 통해 1조 파라미터 모델의 가중치를 학습-추론 노드 간에 2초 미만으로 동기화한다. 이렇게 학습된 큐웬3(Qwen3) 235B 모델은 엔비디아 GB200 NVL72 시스템에서 서비스된다. 투게더 AI(Together AI)는 AI 네이티브 클라우드 플랫폼에서 SFT(지도 미세 조정), RL, DPO(직접 선호 최적화)를 포함한 사후 학습 전 과정을 API와 SDK 형태로 제공하며, 향후 베라 루빈 플랫폼을 통해 효율성을 더욱 높일 예정이다.