MS 파운드리와 매니지드 컴퓨트의 등장

Hugging Face에서 오픈 모델을 실험하는 단계와 이를 실제 서비스에 배포하는 단계 사이에는 큰 운영 격차가 존재한다. GPU 서버 세팅, 런타임 최적화, 운영 환경 구축에 드는 리소스가 모델 성능만큼이나 큰 진입 장벽이 되기 때문이다. 마이크로소프트는 이를 해결하기 위해 MS 파운드리를 통해 매니지드 컴퓨트(Managed Compute)를 제공한다. 이는 오픈 웨이트 모델을 위한 관리형 GPU PaaS(Platform-as-a-Service)로, 인프라 관리 복잡성을 제거해 모델 배포에만 집중하게 하는 옵션이다.

MS 파운드리는 마이크로소프트와 OpenAI, Anthropic, Meta, Mistral, DeepSeek, Hugging Face 등 파트너사의 모델을 단일 엔드포인트(Endpoint)로 제공하는 통합 플랫폼이다. 개발자는 파이썬, C#, 자바스크립트, 자바용 SDK 하나로 프런티어 모델부터 오픈 소스 및 커스텀 가중치 모델까지 모두 접근할 수 있다. 동일한 인터페이스를 통해 모델을 교체하거나 조합할 수 있어 인프라 파편화로 인한 개발 공수를 줄인다.

모델 배포 방식은 워크로드와 비용 구조에 따라 세 가지로 구분된다. 토큰당 과금(Pay-per-token) 방식과 예약 처리량(Provisioned throughput) 방식에 더해, 매니지드 컴퓨트는 오픈 소스 및 커스텀 모델을 직접 제어하려는 사용자를 위한 전용 GPU 환경을 제공한다. 사용자가 모델 파라미터 수, 컨텍스트 길이, 최적화 목표(지연 시간 또는 처리량)를 정의하면 플랫폼이 GPU 토폴로지(Topology)를 자동으로 구성해 인스턴스를 배치한다.

하드웨어 가속기는 NVIDIA A100, NVIDIA H100, AMD MI300X를 지원하며, 글로벌 및 데이터 존(Data Zone) 스코프로 나누어 기업의 보안 및 거버넌스 정책에 따라 배포 위치를 결정할 수 있다. 개발자는 가속기 제품군에 맞춰 쿼터를 할당받으며, 신규 하드웨어 세대가 출시되어도 기존 배포 계획을 유지할 수 있는 일관성을 확보한다.

템플릿 기반의 5단계 배포 프로세스

오픈 모델을 서비스에 올리려면 가속기 간의 물리적·논리적 연결 구조를 설계하고 런타임 최적화 값을 찾는 수동 설정 시간이 많이 소요된다. MS 파운드리는 이러한 하드웨어 설정을 추상화하여, 엔지니어가 가속기 개수나 연결 방식 대신 모델 단위의 계획만으로 배포를 완료하는 구조를 제공한다.

배포의 핵심은 배포 템플릿이다. 이는 런타임, 가속기 제품군과 수량, 컨텍스트 길이, 런타임 튜닝 값을 고정한 버전 관리 자산이다. 예를 들어 qwen3-32b 모델은 4가지 배포 템플릿을 제공하며, 사용자는 배포 위저드(Deploy Wizard)를 통해 지연 시간이나 처리량 우선순위에 따라 템플릿을 선택한다. 런타임 설정, 도구 호출 및 추론 파서, 요청 동시성 등 세부 튜닝 값은 마이크로소프트가 미리 최적화하여 제공한다.

전체 배포 과정은 모델 선택, 템플릿 선택, 설정 확인, 배포 실행, 엔드포인트 연결의 5단계로 진행된다. 컨테이너 업데이트, 런타임 업그레이드, CVE 패칭(알려진 보안 취약점 수정)은 모델 재배포 없이 자동으로 적용된다. 이를 통해 사용자는 하드웨어 세부 사항 대신 모델 설정과 라우팅 전략에만 집중하는 운영 프로세스를 표준화한다.

최종 배포된 모델은 통합 엔드포인트를 통해 OpenAI SDK로 호출한다. 코드의 `model` 필드에 생성한 배포 이름을 입력하면 즉시 연결된다.

python

OpenAI SDK를 이용한 호출 예시

response = client.chat.completions.create(

model="your-deployment-name",

messages=[{"role": "user", "content": "Hello!"}]

)

기존 방식과 달라진 지점

기업이 오픈 모델을 실제 서비스 환경에 올릴 때는 라이선스 검토, 보안 스크리닝, GPU 사이징, 이미지 빌드 등 추가적인 보안 및 인프라 검증 단계가 필요하다. 모델 가중치를 확보했더라도 엔터프라이즈급 엔드포인트를 구축하기까지의 과정에서 많은 시간이 소요된다.

MS 파운드리는 이를 해결하기 위해 허깅페이스 컬렉션(Hugging Face Collection)을 제공한다. 이는 파운드리 모델 카탈로그에 큐레이션된 모델 서브셋을 직접 배치한 형태다. 허깅페이스와 마이크로소프트가 협력하여 인기 있는 오픈 웨이트 모델을 체계적인 프로세스로 가져오며, 모든 모델은 다단계 발행 파이프라인을 거쳐 기업 환경에서 즉시 사용할 수 있는 준비 상태를 갖춘다.

배포 최적화는 네트워크 경로 단순화와 저장소 위치 변경으로 구현된다. 모델 가중치가 Azure 스토리지에 사전 스테이징되어 있고 런타임 이미지는 마이크로소프트 관리 레지스트리에 저장되어 있다. 이 구조 덕분에 배포 시 허깅페이스 허브로의 외부 네트워크 접속이 필요 없다. 모든 과정이 프라이빗 네트워크 내에서 완결되므로 외부망 연결을 차단해야 하는 엄격한 보안 환경에서도 모델 서비스가 가능하다.

워크로드별 최적화된 7종의 추론 런타임

MS 파운드리는 모델 아키텍처와 처리량, 지연시간, 모달리티에 따라 최적화된 7종의 추론 런타임을 제공한다. vLLM은 기본 고처리량 엔진으로 작동하며 Transformers 라이브러리 모델을 즉시 지원한다. Hugging Face가 vLLM에 직접 기여하므로 새로운 모델 공개 당일 바로 서비스할 수 있다. SGLang은 JSON이나 정규식 같은 구조화된 출력을 지원하여, 에이전트가 외부 도구를 사용하거나 특정 형식을 엄격히 지켜야 하는 워크로드에서 추론 효율을 높인다.

특수 목적 모델을 위해 TEI(Text Embeddings Inference)와 llama.cpp 경로를 제공한다. TEI는 임베딩, 리랭커, 시퀀스 분류 모델 전용 런타임으로, 가속기별 전용 커널을 탑재해 RAG(검색 증강 생성)와 시맨틱 검색의 데이터 처리 경로를 가볍게 유지한다. llama.cpp는 GGUF 양자화 모델을 위한 경로로, CPU 전용 리전이나 소형 GPU 환경에서 비용을 최적화할 때 유용하다. 두 런타임 모두 OpenAI 호환 API를 제공해 상위 애플리케이션 코드 수정 없이 교체 가능하다.

하드웨어 전용 최적화와 멀티모달 확장을 위해 TensorRT-LLM과 hf-serve를 배치했다. TensorRT-LLM과 NIM은 NVIDIA 전용 최적화 커널과 Triton 기반 서빙 체계를 통해 특정 모델 제품군의 지연시간을 줄이고 처리량을 극대화한다. hf-serve는 비전, 오디오, 세그멘테이션 등 다양한 모달리티를 일관된 서빙 계층에서 처리하여 모델 카탈로그의 범위를 확장한다.

한국 엔터프라이즈 AI 실무자를 위한 시사점

이러한 기술적 구성은 보안과 공급망 관리가 핵심인 국내 기업 환경에 실질적인 운영 대안을 제시한다. 우선, 폐쇄망 환경을 유지해야 하는 금융이나 공공기관은 외부 네트워크 접속 없이 Azure 스토리지와 자체 레지스트리를 통해 모델을 배포함으로써 보안 스크리닝 공수를 줄이고 데이터 유출 우려를 해소할 수 있다.

또한, 특정 GPU 제조사의 수급 불안정으로 인한 일정 지연 리스크를 분산할 수 있다. NVIDIA뿐만 아니라 AMD 가속기를 선택지로 제공하고, 할당량을 가속기 제품군 단위로 관리함으로써 향후 하드웨어 세대가 교체되는 시점에도 인프라 설계를 다시 할 필요 없이 유연하게 대응 가능하다.

결과적으로 GPU 서버의 런타임 설정과 가속기 최적화에 소요되던 운영 리소스가 템플릿 기반 프로세스로 대체된다. 인프라 엔지니어가 컨테이너 이미지 빌드와 보안 패치에 쏟던 시간을 모델 튜닝과 서비스 로직 최적화로 전환할 수 있게 된다. 5단계 배포 과정을 통해 인프라 관리 포인트를 단일화하고, 비즈니스 요구사항에 맞는 모델 성능 구현에만 집중하는 환경을 구축하는 것이 핵심이다.

GPU 서버의 런타임 설정과 가속기 최적화에 소요되던 운영 리소스가 템플릿 기반의 배포 프로세스로 대체된다. 개별 모델마다 반복하던 인프라 구축의 복잡성이 제거된 자리에 프라이빗 네트워크 기반의 보안성과 OpenAI SDK의 통합 관리 편의성이라는 명확한 운영 기준이 남는다. 인프라 엔지니어가 컨테이너 이미지 빌드에 쏟던 시간을 모델 튜닝으로 전환하는 실질적인 변화가 시작된다. 본문의 5단계 배포 과정을 통해 인프라 관리 포인트를 단일화하고 서비스 로직 최적화에만 집중하는 환경을 구현한다.