터미널 한 줄로 끝내는 HyperPod InstantStart의 제공 범위

HyperPod InstantStart는 클러스터 생성부터 의존성 설치, 스토리지 마운트까지의 복잡한 인프라 구축 과정을 터미널 명령 한 줄로 자동화하는 오픈소스 제어 평면(Control Plane)이다. 파운데이션 모델 워크로드를 Amazon SageMaker HyperPod에서 운영하려면 네트워크와 제어 평면 구축, 가속기 용량 할당, 클러스터 의존성 설치, 스토리지 및 ID 설정, 하드웨어 결함 관리, 모델 서버 배포 및 모니터링이 순차적으로 이루어져야 한다. 각 단계는 고유의 API와 실패 모드, 대기 시간을 가지며, 단계 간 전환 과정에서 설정 오류와 운영 지연이 빈번하게 발생한다.

이 도구는 Web UI, REST API, MCP(Model Context Protocol) 도구라는 세 가지 인터페이스를 제공한다. 세 인터페이스는 단일 컨테이너 내에서 동일한 REST API 백엔드를 공유하는 구조로 설계되어, 운영자가 어떤 진입점을 선택하더라도 동일한 제어 로직을 거치게 된다. 이를 통해 인프라 구축의 각 단계에서 발생하는 대기 시간을 효율적으로 관리하며, 개별 API를 수동으로 호출하며 상태를 확인해야 했던 번거로움을 제거하고 인프라 구축 상태를 자동으로 추적하여 최종 완료 상태를 보장한다.

REST API 래핑을 통한 AI 에이전트의 신뢰성 확보 방식

HyperPod InstantStart는 AWS 계정 내에서 단일 아웃오브밴드(Out-of-band) 관리 컨테이너로 실행된다. 이 컨테이너는 AWS 서비스 API와 Kubernetes API를 호출하여 인프라를 제어하는 전용 통로 역할을 수행한다. 학습 작업이나 추론 요청이 오가는 데이터 경로와 분리되어 있어, 관리 컨테이너의 상태나 부하가 실제 워크로드 성능에 영향을 주지 않는다. 생성되는 모든 리소스는 표준 AWS 또는 Kubernetes 리소스로 구성되므로, 관리자가 AWS CLI나 kubectl로 리소스 상태를 직접 검증할 수 있다.

AI 에이전트가 인프라를 조작할 때는 AWS CLI나 SDK를 직접 사용하는 대신, 백엔드의 REST API를 래핑(Wrapping)한 MCP 도구를 사용한다. MCP는 AI 모델이 외부 도구를 사용하는 표준 규격으로, 에이전트가 사용할 수 있는 도구의 정의와 실행 방식을 표준화한다. raw CLI를 직접 제공할 때 발생하는 명령어 오타나 잘못된 플래그 사용으로 인한 리소스 파괴 위험을 방지하기 위해, 검증된 API를 통해 입력값에 대한 엄격한 제약 조건을 강제한다. 개발자는 한 번의 검증 로직 추가만으로 Web UI와 AI 에이전트 모두에 동일한 보호 장치를 적용할 수 있다.

에이전트 환경 설정은 Kiro CLI의 전용 설정인 `hypd-inst-agent`를 통해 수행한다. 이 설정은 프로젝트의 MCP 서버와 정의된 스킬들을 로드하여 AI 에이전트가 인프라 제어 권한을 갖게 한다. 사용자가 터미널에서 에이전트와 대화하면, 에이전트는 로드된 MCP 도구를 호출해 백엔드 API에 요청을 보낸다. 모든 요청이 백엔드의 보호 장치를 거치므로 복잡한 클러스터 생성 과정의 설정 오류를 사전에 차단하고 일관된 실행 결과를 보장한다.

Amazon EKS와 SageMaker HyperPod의 관리 영역 구분

Amazon SageMaker HyperPod는 관리 영역을 AWS와 사용자로 분리하여 운영 효율을 높였다. 사용자는 Amazon EKS(Elastic Kubernetes Service)를 통해 오케스트레이션 표면을 직접 제어하며, 쿠버네티스에 직접 접근할 수 있는 권한을 갖는다. 대신 AWS 리소스와 애드온, 워크로드를 하나의 체계로 구성하고 운영하는 day-two operations(배포 후 유지보수 단계)의 책임은 사용자가 진다.

사용자 관리 영역인 Amazon EKS는 시스템의 명령 체계를 담당한다. 여기에는 쿠버네티스 API와 EKS 애드온 형태로 설치되는 HyperPod 학습 및 추론 오퍼레이터(Operator)가 포함된다. 이 오퍼레이터들은 `HyperPodPyTorchJob`과 `InferenceEndpointConfig`라는 리소스를 통해 학습 및 추론 포드를 생성하고 상태를 유지하며, 사용자는 이 설정을 통해 연산 자원의 배분과 작동 방식을 결정한다.

AWS가 관리하는 SageMaker HyperPod는 하드웨어의 안정성과 효율성에 집중한다. 인프라 영역에서는 헬스 모니터링, 딥 헬스 체크, 노드 자동 복구를 수행하고, 용량 영역에서는 지속적인 프로비저닝과 Karpenter 오토스케일링으로 자원 규모를 조절한다. 학습 영역에서는 프로세스 레벨의 복구와 계층형 체크포인팅을 지원하며, 추론 영역에서는 지능형 라우팅과 계층형 KV 캐싱을 제공한다.

두 영역의 접점은 HyperPod 인스턴스 그룹이다. 쿠버네티스가 이 그룹 위에 포드를 스케줄링하면 HyperPod가 해당 인스턴스들을 관리하며, 이는 장애 발생 시 AWS의 복구 개입 범위를 결정하는 기준이 된다. 외부 통합으로는 Amazon S3, Amazon FSx for Lustre, Amazon ECR이 이미지와 데이터, 체크포인트를 처리하며, Amazon Managed Service for Prometheus, Amazon Managed Grafana, SageMaker AI의 Managed MLflow가 상태 정보와 메트릭을 관리한다.

8~12분 소요되는 EKS 생성을 포함한 5단계 프로비저닝 구조

전체 인프라 구축 과정인 프로비저닝은 EKS 제어 평면 생성, 활성 클러스터 선택, 의존성 조정, HyperPod 클러스터 생성, 스토리지 설정이라는 5단계의 선형 구조로 이루어진다. 특히 EKS 제어 평면 생성에는 약 8분에서 12분이 소요된다. 전체 과정을 5개의 독립적인 작업으로 세분화하여 관리함으로써 특정 지점에서 문제가 발생했을 때 전체 시스템을 처음부터 다시 구축하는 낭비를 막는다.

각 프로비저닝 단계는 완료 시점의 상태를 시스템에 기록하여 멱등성(Idempotent) 기반의 재시도를 지원한다. 일반적인 자동화 스크립트와 달리, 후속 단계에서 실패하더라도 이전 단계까지 성공한 내역은 보존된다. 예를 들어 마지막 단계인 스토리지 설정에서 네트워크 오류가 발생했다면, 앞서 10분 넘게 소요된 EKS 제어 평면 생성 단계를 다시 거칠 필요 없이 스토리지 설정 단계부터 즉시 재시작하여 전체 재구축 시간을 단축한다.

인프라 생성 이후에는 자동 노드 복구 기능과 GPU 및 EFA(Elastic Fabric Adapter) 연결성을 검증하는 딥 헬스 체크가 활성화된다. 딥 헬스 체크는 단순 연결 확인을 넘어 노드에 실제 부하를 주는 스트레스 테스트를 진행하여, 하드웨어 결함 노드가 투입되어 대규모 모델 학습 프로세스가 중단되는 사고를 방지한다. 검증된 상태 정보는 쿠버네티스의 레이블(Label), 테인트(Taint), 어노테이션(Annotation)으로 변환되어 클러스터에 기록된다.

/20 서브넷 설계와 쿼터 관리를 통한 대규모 클러스터 구축 조건

대규모 가속기 플릿 운영을 위해 HyperPod InstantStart는 `ensureComputeSubnet()` 함수를 통해 /20 크기의 컴퓨팅 서브넷을 생성한다. /20 크기는 수많은 가속기 인스턴스가 동시에 할당될 수 있는 충분한 IP 주소를 제공한다. EKS 제어 평면 서브넷과 HyperPod 컴퓨팅 서브넷을 물리적으로 분리 설계함으로써 계층 간 주소 공간 충돌 문제를 해결하고 확장성과 관리 효율을 높였다.

인프라 구축 전 AWS 계정의 서비스 쿼터 증설과 용량 확보가 선행되어야 한다. 사용하려는 모든 인스턴스 유형에 대해 Cluster Usage 서비스 쿼터 증설을 요청해야 하며, 고사양 가속기 유형의 경우 Amazon SageMaker Flexible Training Plan을 통해 필요한 용량을 미리 예약해야 한다. 이 작업들은 AWS의 검토 시간이 소요되므로 프로비저닝 시작 전 조기에 신청해야 전체 일정의 지연을 막을 수 있다.

가상 프라이빗 클라우드(VPC) 쿼터 역시 사전 점검 대상이다. 단계별 프로비저닝 경로는 기본적으로 클러스터당 하나의 VPC를 생성하므로, 다수의 클러스터를 구축할 계획이라면 계정 내 VPC 생성 가능 수량을 확인해야 한다. 이러한 네트워크 및 쿼터 사전 준비와 5단계 세분화 프로비저닝을 통해 실패 지점부터 즉시 재시도할 수 있는 운영 기준을 확보하는 것이 대규모 클러스터 구축의 핵심이다.

HyperPod InstantStart는 복잡한 생성형 AI 인프라 구축의 진입 장벽을 낮추고, AI 에이전트가 안전하게 인프라를 관리할 수 있는 표준화된 경로를 제시한다.