GPU 클러스터 구축 부담을 제거한 서버리스 커스터마이징

기업이 파인튜닝을 수행하기 위해서는 GPU 클러스터를 직접 구축하고 분산 학습 프레임워크를 설정하는 운영 부담을 감수해야 했다. 실무자는 서버 사양 선정부터 드라이버 설치, 체크포인팅 관리 및 결함 허용(Fault tolerance, 시스템 일부에 오류가 발생해도 정상 작동하게 하는 기능) 설정까지 모든 인프라 과정을 직접 제어해야 했다. Amazon SageMaker AI(아마존 세이지메이커 AI)는 NVIDIA Nemotron 3 모델을 대상으로 서버리스 모델 커스터마이징 기능을 도입하여 이러한 인프라 프로비저닝과 학습 오케스트레이션 작업을 제거했다.

이 서비스는 NVIDIA Nemotron 3 Nano와 Nemotron 3 Super 모델의 서버리스 학습을 지원한다. 실무자는 GPU 클러스터를 직접 할당하거나 분산 학습 환경을 구성하지 않고도 기업 내부의 도메인 데이터로 모델을 학습시킬 수 있다. 인프라 관리라는 '차별점 없는 무거운 작업(Undifferentiated heavy lifting)'이 사라짐에 따라, 사용자는 데이터 품질과 비즈니스 유스케이스, 그리고 모델 평가에만 집중하며 사용한 만큼만 비용을 지불하는 구조를 갖게 된다. 자세한 지원 모델 목록은 Customize open weight models 문서에서 확인할 수 있다.

Nemotron 3 Nano와 Super의 체급별 워크로드 최적화

NVIDIA Nemotron 3 제품군은 작업의 복잡도와 비용 효율성에 따라 두 가지 체급으로 나뉜다. Nemotron 3 Nano는 전체 30B(300억 개) 파라미터 중 3B(30억 개)만 활성화하는 소형 모델로, 전작인 Nemotron 2 Nano 대비 4배 높은 처리량(Throughput, 단위 시간당 처리 데이터 양)을 구현했다. 이 모델은 비용과 지연 시간이 핵심인 고볼륨 멀티 에이전트 워크로드에 최적화되어 있으며, 특히 코딩과 추론 작업에서 동급 크기의 오픈 모델 대비 강력한 성능을 보인다.

반면 Nemotron 3 Super는 전체 120B(1200억 개) 파라미터 중 12B(120억 개)를 활성화하는 대형 모델이다. 이 모델은 소프트웨어 개발이나 사이버 보안 트리아지(Triage, 우선순위 분류 및 초기 진단)와 같이 높은 용량과 복잡한 추론 능력이 필요한 환경에 설계되었다. 특히 IT 티켓 자동화, 엔터프라이즈 워크플로 오케스트레이션(Orchestration, 여러 작업을 조율하고 배치하는 것), 지속적인 다단계 추론이 필요한 자율 에이전트 시스템에 적합하다. 두 모델 모두 NeMo Gym을 통한 다중 환경 강화 학습을 거쳐 코딩, 추론, 롱컨텍스트 분석 등 실제 에이전트 작업에 맞춰 정렬되었다.

100만 토큰을 지원하는 하이브리드 Mamba-Transformer MoE 구조

NVIDIA Nemotron 3는 최대 100만 토큰의 컨텍스트 길이를 네이티브로 지원하기 위해 하이브리드 Mamba-Transformer Mixture-of-Experts(MoE, 여러 전문가 모델 중 일부만 선택해 사용하는 구조) 아키텍처를 채택했다. 이 구조는 세 가지 보완적 레이어를 교차 배치하여 연산 효율과 정확도를 동시에 확보한다. 먼저 Mamba-2 레이어는 선형 시간 시퀀스 처리를 수행하여 매우 긴 텍스트를 효율적으로 처리한다. 이어 Transformer attention 레이어가 정밀한 연상 회상(Associative recall, 문맥 속 특정 정보를 정확히 짚어내는 능력)을 담당해 복잡한 추론의 정확도를 높인다.

마지막으로 Latent Mixture-of-Experts(LatentMoE, 토큰을 압축해 적절한 전문가에게 전달하는 구조) 레이어가 연산 비용을 극대화한다. LatentMoE는 입력 토큰을 압축한 뒤 특화된 전문가(Expert)에게 라우팅하여, 순방향 패스(Forward pass, 입력값이 출력값으로 전달되는 과정) 시 전체 파라미터의 일부만 활성화한다. 예를 들어 Super 모델은 120B 파라미터 중 12B만 사용하여 높은 처리량과 정확도를 유지하면서도 컴퓨팅 비용을 획기적으로 낮췄다. 이러한 설계 덕분에 실무자는 방대한 양의 문서를 처리하면서도 하드웨어 리소스 부담을 최소화할 수 있다.

SFT부터 RLAIF까지, 서버리스 파인튜닝 실무 워크플로

Amazon SageMaker AI는 Nemotron 3 모델의 특화를 위해 세 가지 핵심 학습 기법을 제공한다. 지도 미세 조정(SFT, Supervised Fine-Tuning)은 라벨링된 입력-출력 쌍을 통해 모델의 특정 행동을 학습시킨다. 검증 가능한 보상을 이용한 강화 학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 정답 값과 보상 함수를 통해 모델이 최적의 경로를 찾게 하며, AI 피드백 기반 강화 학습(RLAIF, Reinforcement Learning from AI Feedback)은 AI가 생성한 피드백을 활용해 모델을 정렬한다.

학습 데이터는 반드시 JSONL(JSON Lines, 각 줄이 독립적인 JSON 객체인 형식) 포맷으로 구성해야 한다. SFT의 경우 대화 형식의 예시가 필요하며, RLVR(RFT)의 경우 프롬프트와 보상 함수가 판단할 수 있는 정답(Ground truth) 값이 쌍으로 제공되어야 한다. 데이터 구조가 정교하지 않으면 노이즈가 유입되거나 포맷 오류가 발생해 학습 효율이 떨어진다. 실무자는 Amazon SageMaker Studio 콘솔의 가이드 워크플로를 이용하거나, AWS samples GitHub repository에 공개된 SageMaker Python SDK 예제를 통해 프로그램 방식으로 커스터마이징 작업을 수행할 수 있다.

비용 최적화 경로와 기업 고유 지적 재산(IP) 확보 전략

실무자는 모든 작업에 거대 모델을 사용하는 대신, 작은 모델(Nano)을 특정 작업에 특화시켜 큰 모델 수준의 성능을 내는 비용 최적화 경로를 확보할 수 있다. 도메인 특화 용어, 기업 내부 의사결정 패턴, 브랜드 보이스(Brand voice, 일관된 말투와 톤)를 학습시키면 범용 모델에서 발생하는 환각(Hallucination, 사실이 아닌 내용을 그럴듯하게 답하는 현상)을 줄일 수 있다. 특히 기업 내부 API 명세와 호출 사례를 학습시켜 정확한 도구 호출(Tool calling, 외부 함수나 API 실행 요청 기능) 능력을 갖추게 하면 업무 자동화의 신뢰도가 상승한다.

이러한 커스터마이징 과정은 단순한 최적화를 넘어 기업의 고유한 지능과 모범 사례를 모델 아키텍처에 인코딩하는 과정이다. 보안 규정이 엄격한 산업군에서는 민감 데이터를 프라이빗 인프라 내에 유지하며 학습을 수행함으로써 데이터 보안을 유지할 수 있다. 이렇게 구축된 특화 모델은 기성 퍼블릭 모델과 달리 경쟁사가 복제하기 어려운 기업의 고유한 지적 재산(IP)이 된다. 결과적으로 실무자는 인프라 관리 부담이 제거된 서버리스 환경에서 모델의 체급을 전략적으로 배치함으로써, 운영 비용 절감과 기술적 진입 장벽 구축이라는 두 가지 목표를 동시에 달성할 수 있다.