매일 아침 개발팀은 생성형 AI 모델을 실제 서비스에 올리기 위해 GPU 인프라와 씨름한다. 모델을 배포하기 전, 수많은 GPU 인스턴스 조합과 최적화 기법 사이에서 길을 잃는 것은 흔한 풍경이다. 적절한 설정을 찾기 위해 수주 동안 로드 테스트를 반복하고, 결과값을 분석하며 비용과 성능 사이에서 타협점을 찾는 과정은 개발자의 리소스를 심각하게 소모한다. 이번 주 Amazon SageMaker AI(머신러닝 모델을 구축, 학습, 배포하는 클라우드 서비스)가 이러한 배포 병목 현상을 해결하기 위한 최적화 추천 기능을 새롭게 선보였다.

생성형 AI 추론 최적화 추천 기능의 핵심 사실

Amazon SageMaker AI는 이제 생성형 AI 모델의 배포를 위해 검증된 최적의 구성과 성능 지표를 자동으로 제공한다. 이 기능은 NVIDIA AIPerf(NVIDIA Dynamo 프레임워크의 일부로, 상세하고 일관된 성능 지표를 측정하는 벤치마킹 도구)를 활용하여 모델의 아키텍처와 메모리 요구 사항을 분석한다. 개발자는 자신의 모델을 준비하고 예상 트래픽 패턴과 함께 비용 최소화, 지연 시간 단축, 처리량 극대화 중 하나의 성능 목표를 설정하기만 하면 된다. SageMaker AI는 이를 바탕으로 인스턴스 유형과 병렬 처리 전략을 좁혀 후보군을 선정하고, 자동으로 최적화 기법을 적용하여 벤치마킹을 수행한다. 측정 항목에는 첫 토큰 생성 시간, 토큰 간 지연 시간, P50/P90/P99 요청 지연 시간, 처리량, 비용이 포함된다. 이 과정은 별도의 추가 비용 없이 수행되며, 기존의 ML Reservations(유연한 학습 계획을 통해 미리 컴퓨팅 자원을 예약하는 방식)를 활용하면 벤치마킹 비용을 절감할 수 있다.

기존 수동 배포 방식과의 차이점

예전에는 개발자가 직접 인스턴스 유형을 선택하고, 서빙 컨테이너를 설정한 뒤 로드 테스트를 수행하며 수동으로 데이터를 비교해야 했다. 더 숙련된 팀은 벤치마킹 도구나 CI/CD(지속적 통합 및 지속적 배포) 파이프라인을 구축해 자동화하려 했으나, 이 역시 스크립트 검증과 환경 설정이라는 큰 숙제를 안겨주었다. 이제는 SageMaker AI가 모델의 아키텍처를 직접 분석하여 현실적으로 목표를 달성할 수 있는 구성만을 골라낸다. 수십 가지 GPU 인스턴스 유형과 복잡한 병렬 처리 전략, 추측적 디코딩(Speculative Decoding, 작은 모델로 초안을 생성해 속도를 높이는 최적화 기법) 같은 기술을 일일이 테스트할 필요 없이, 시스템이 자동으로 최적의 조합을 찾아 순위를 매겨 제공한다.

개발자가 바로 체감하는 변화는 인프라 관리의 부담이 사라지고 모델의 정확도 향상에 집중할 수 있게 되었다는 점이다. 과거에는 최적의 설정을 찾지 못해 불안감에 사로잡혀 자원을 과도하게 할당하는 오버 프로비저닝(Over-provisioning, 필요 이상의 자원을 확보하는 행위)이 빈번했다. 하지만 이제는 검증된 성능 지표를 바탕으로 의사결정을 내릴 수 있어, 불필요한 GPU 비용 지출을 막고 프로덕션 환경에서의 성능 저하 위험을 획기적으로 낮출 수 있다.

인프라 최적화의 자동화는 이제 선택이 아닌 배포의 표준이 되었다.