Azure AI 인프라 확장과 AMD 최신 솔루션 도입

ChatGPT 같은 AI 서비스가 고도화될수록 서버 비용과 전력 소모라는 비용 구조가 부담이 된다. 서비스 규모가 커지면 인프라 처리 속도와 비용 효율이 핵심 과제가 된다. 마이크로소프트는 이러한 병목을 해결하기 위해 AMD의 최신 하드웨어를 기반으로 한 Azure 가상 머신(VM) 3종을 출시한다.

이번 도입의 핵심은 AMD Helios AI 플랫폼(랙 규모의 AI 인프라 솔루션)과 차세대 EPYC 데이터센터 프로세서를 Azure 환경에 통합하는 것이다. AI 모델이 다양해지고 사용자를 대신해 과업을 수행하는 에이전트 중심의 워크로드가 급증하면서, 단일 인프라 방식으로는 처리 수요를 감당하기 어렵기 때문이다. 이에 마이크로소프트는 모든 작업을 하나의 칩으로 처리하는 대신 단계별로 특화된 하드웨어를 배치하여 성능과 에너지 효율을 최적화하는 개방형 이기종 플랫폼을 구축한다.

새롭게 제공되는 VM은 워크로드 성격에 따라 대규모 데이터 처리를 위한 HDv2, 반도체 설계용 전자설계자동화(EDA)에 최적화된 HXv2, 그리고 대규모 AI 추론을 담당하는 ND MI455X v7으로 나뉜다. 이는 데이터 준비와 에이전트 조율부터 과학적 시뮬레이션, 칩 설계, 최종 추론에 이르기까지 AI 서비스 생애주기의 연산 특성을 전용 인프라에 매칭시킨 구조다. 이제 실무자는 GPU 증설 대신 워크로드에 맞는 칩셋을 선택해 비용을 최적화할 수 있다. 관련 상세 내용은 Azure.com에서 확인할 수 있다.

HDv2와 HXv2: CPU 병목을 해결하는 하드웨어 스펙

데이터 전처리가 늦어져 GPU가 대기하는 시간은 실무자에게 가장 큰 비용 손실이다. HDv2 VM은 이 병목을 해결하기 위해 6세대 AMD EPYC CPU 물리 코어를 약 500개 탑재했다. 여기에 4TB RAM과 32TB 로컬 NVMe 스토리지, 400Gb Azure Boost 네트워킹을 더해 데이터 공급 속도를 높였다. HDv2는 대규모 에이전트 조율이나 검색 작업에서 데이터 파이프라인이 끊기지 않도록 설계되었다.

반도체 설계나 과학 시뮬레이션처럼 단일 스레드 성능이 중요한 작업은 개별 코어의 처리 효율이 중요하다. HXv2 VM은 6세대 AMD EPYC CPU 코어 176개를 탑재하고 클록 주파수를 5GHz 이상으로 높였다. 특히 프로세서 내부에 고속 메모리를 수직으로 쌓은 3D V-cache 기술을 적용해 코어당 주소 지정 가능 캐시를 50% 늘렸으며, 메모리 용량은 2TB 또는 4TB 중에서 선택할 수 있다.

분산 메모리 애플리케이션이나 대규모 시뮬레이션을 구동할 때는 서버 간 데이터 전송 속도가 성능을 결정한다. HXv2 VM은 800Gb InfiniBand 초고속 네트워크 인터페이스를 지원해 대규모 MPI(메시지 전달 인터페이스) 기반 시뮬레이션 환경을 구축할 수 있게 했다. 이를 통해 복잡한 공학 분석이나 과학적 계산 과정에서 발생하는 네트워크 지연을 줄이고 연산 속도를 높였다.

칩 설계 가속화와 Synopsys AI EDA 솔루션의 결합

시놉시스(Synopsys)는 AI 기반 EDA(전자설계자동화) 솔루션을 Azure HX 시리즈에서 최적화했다. 설계 기업이 칩을 만들 때 겪는 가장 큰 병목인 시뮬레이션 시간을 줄여 제품 출시 주기를 앞당기기 위한 선택이다. 클라우드 환경에서 EDA 툴을 구동함으로써 기존 물리적 서버 규모가 주는 제약을 제거했다.

AMD의 CTO 마크 파퍼마스터는 Azure HX가 복잡한 EDA 워크로드의 확장성과 성능을 높이는 중요한 플랫폼이라고 평가했다. AMD는 차세대 EPYC CPU와 Instinct GPU를 설계하는 내부 공정의 막대한 연산 수요를 처리하기 위해 이 플랫폼을 활용한다. 칩 제조사가 자신의 칩을 설계하기 위해 타사의 클라우드 VM을 활용하는 구조다.

시놉시스의 최고 제품 개발 책임자인 샹카르 크리슈나무르티는 클라우드 기반 컴퓨팅으로 시뮬레이션 속도를 높여 설계 품질을 개선했다고 설명했다. 이를 통해 고객사들이 공격적인 개발 일정을 준수하면서 제품 출시 시점을 앞당기는 성과를 거두었다.

RTL 시뮬레이션(Register Transfer Level) 같은 고부하 작업은 인프라 제약이 사라질 때 제품 출시 주기를 직접적으로 단축한다. 칩 설계자는 하드웨어 구매와 설치 기간을 기다리는 대신, 워크로드에 최적화된 VM을 선택해 즉시 시뮬레이션을 수행하는 방식으로 업무 흐름을 바꾼다.

이기종 플랫폼 시대, 한국 AI 실무자의 인프라 선택 기준

설계와 전처리가 완료된 모델은 최종적으로 추론 단계로 넘어간다. 마이크로소프트는 AMD Helios 랙스케일 솔루션(서버 랙 전체를 하나의 컴퓨팅 단위로 설계한 구조)을 기반으로 한 ND MI455X v7 VM을 통해 추론 비용 효율을 관리한다. 이 자원은 대규모 추론과 추론 기반 검색, 자율적으로 판단하고 행동하는 에이전트 워크로드에 최적화되어 추론 속도와 전력 효율을 동시에 높여 운영 비용을 낮춘다.

한국의 AI 실무자는 Azure.com에서 제공하는 이기종 플랫폼을 활용해 특정 하드웨어 벤더에 종속되지 않는 유연한 인프라 전략을 세워야 한다. GPU 증설 위주의 전략보다 데이터 전처리, 설계, 추론이라는 단계별 최적화 지점을 찾는 것이 비용 절감에 효과적이다. 인프라 선택의 기준은 현재 워크로드의 병목이 메모리 용량인지, 단일 코어의 클록 속도인지, 혹은 전체 추론 처리량인지에 따라 결정된다.

하드웨어 스펙 시트의 숫자만 보는 것이 아니라 서비스의 데이터 흐름과 시간당 청구 비용을 대조해 보는 것이 실질적인 비용 절감의 시작이다. 결국 최적의 인프라는 가장 비싼 칩을 쓰는 것이 아니라, 작업의 성격과 비용의 균형을 맞춘 조합을 찾아내는 것에 있다.

GPU 성능에만 매몰된 인프라 확장은 결국 전처리 단계의 병목이라는 비용 낭비로 귀결된다. 데이터의 규모와 작업의 성격에 따라 CPU 코어 수나 캐시 용량, 네트워크 대역폭 중 무엇이 우선순위인지 정의하는 과정이 선행되어야 한다.

Azure.com의 VM 사양을 기준으로 현재 시스템의 지연 시간이 발생하는 지점을 대조하며 최적의 조합을 구성해 보라. AI 인프라의 효율은 최신 칩의 도입 여부가 아니라 워크로드와 하드웨어 사이의 간극을 얼마나 좁혔느냐에 따라 결정된다.