AI는 단일 워크로드가 아니라 수백만, 수십억 개의 서로 다른

AI 추론 최적화는 이제 단순한 연산력 확보가 아니라 메모리와 스토리지, 네트워크의 통합 조정 문제로 변화했다. AI는 단일 워크로드가 아니라 수백만, 수십억 개의 서로 다른 워크로드 집합으로 작동하기 때문이다. 이러한 특성은 인프라 설계자가 단일 성능 지표에 매몰되지 않고, 다양하고 분산된 요구사항을 동시에 처리하는 방식으로 전략을 수정하게 만든다.

Tirias Research(티리아스 리서치)의 설립자이자 수석 분석가인 Jim McGregor는 데이터 센터가 이제 지속적이고 분산된 실시간 AI 서비스를 지원해야 한다고 설명한다. 실시간 AI 서비스는 시스템 수준에서 서로 다른 요구사항을 가지며, 이를 단일 워크로드로 간주하는 접근은 실제 운영 환경의 복잡성을 반영하지 못한다. 데이터 센터는 수많은 개별 워크로드가 생성하는 각기 다른 부하를 동시에 수용하고 효율적으로 처리하는 구조를 갖춰야 한다.

현대적 AI 시스템을 레거시 인프라(기존의 낡은 IT 기반 시설)에 억지로 맞추는 방식은 AI의 변혁적 잠재력을 제한한다. 과학적 발견의 가속화나 진정한 자율 디지털 에이전트를 생성하는 것과 같은 AI의 진정한 가치를 실현하려면 목적 기반 아키텍처(Purpose-built architectures) 도입이 필수적이다. 인프라를 AI의 특성에 맞게 재설계하고 최적화할 때 비로소 AI가 제공하는 실질적인 가치가 구현된다.

AI 추론(inference)으로 인해 최적화의 중심이 단순

AI 추론(inference, 학습된 모델을 사용해 결과값을 도출하는 과정)은 최적화의 과제를 단순한 연산 능력 확보에서 메모리, 스토리지, 네트워킹이 조율된 통합 인프라 구축으로 전환한다. 이제 성능 개선은 개별 칩의 연산 속도보다 하드웨어 간의 유기적인 협업 체계를 설계하는 문제로 바뀐다.

실시간 AI 지원을 위해 메모리와 스토리지를 단순 보조 하드웨어가 아닌 시스템의 핵심으로 설계한다. 데이터를 신속하게 수집하고 정제하며 변환, 저장, 이동, 전달하는 데이터 파이프라인 아키텍처를 적용한다. 이러한 구조는 데이터 이동 경로를 최적화해 추론 과정의 물리적 지연을 줄인다.

추론 워크로드는 기존의 학습 중심 배포와 달리 지속적인 데이터 검색과 캐싱(caching, 데이터 접근 속도를 높이기 위해 임시 저장소에 복사본을 두는 방식)을 요구하며 인프라에 압력을 가한다. 이는 단순 연산량 증설만으로는 해결할 수 없는 인프라 전반의 조율 능력을 요구하며, 데이터의 흐름을 제어하는 통합 설계의 중요성을 높인다.

추론 및 에이전트 AI(agentic AI)는 지연 시간

피크 상태를 대비해 인프라를 과도하게 구축하는 방식은 AI 서비스 운영 비용을 급격히 높인다. 추론 및 에이전트 AI(agentic AI, 자율적으로 목표를 수행하는 AI)는 지연 시간과 데이터 이동, 확장성 및 활용도라는 새로운 요구사항을 제기한다. 기존 기업 IT는 인프라 환경이 비교적 안정적이라는 가정하에 시스템을 운영해 왔다. 하지만 추론 중심의 워크로드에서는 아키텍처 선택이 지연 시간과 자원 효율성에 결정적인 영향을 미치며, 이는 곧 서비스의 실질적인 응답 속도로 이어진다.

단일 성능 수치는 더 이상 유일한 평가 벤치마크가 되지 않는다. 기업은 효율성과 비용, 확장성의 균형을 통해 다양한 AI 서비스를 지원하는 최적 지점을 찾아야 한다. 성능만을 극대화하는 설계는 피크 타임 외의 시간대에 불필요한 자원 낭비를 초래한다. 이는 결과적으로 전체 인프라의 비용 효율성을 떨어뜨리며, 운영 규모가 커질수록 비용 부담을 가중시킨다.

인프라 평가 기준을 최대 성능 지표에서 워크로드별 와트당 성능과 데이터 이동 지연 시간으로 전환하는 체크리스트를 적용한다.