기업들의 가속기 평가 리스트 변화

차세대 AI 가속기를 검토하는 기업 구매자들의 리스트에 엔비디아의 차세대 GPU보다 비엔비디아 칩이 오를 가능성이 더 커졌다. 벤처비트()가 7월 AI 인프라 응답자 170명을 대상으로 실시한 'VB Pulse' 설문조사에 따르면, 응답자의 39.4%가 향후 12개월 내에 비엔비디아 가속기를 평가할 가능성이 높다고 답했다. 이는 엔비디아 블랙웰(GB300)을 포함한 차세대 GPU를 평가하겠다는 응답(25.3%)보다 14%p 높은 수치다.

비엔비디아 칩으로 분류된 대안으로는 AWS 트레이니움(Trainium), 구글 TPU, AMD 인스팅트(Instinct), 인텔 가우디(Gaudi) 및 기업 자체 설계 ASIC(주문형 반도체)이 꼽혔다. 이러한 경향은 특히 구매 결정권을 가진 층에서 뚜렷했다. C-레벨 응답자의 비엔비디아 가속기 평가 의향은 6월 42.9%에서 7월 57.1%로 상승했으며, 최종 결정권자 그룹에서도 35.4%에서 50%로 증가했다. 기업 규모별로는 직원 수 101~250명 규모의 중소기업에서 평가 의향이 33.3%에서 57.7%로 가장 가파르게 올랐다.

인프라 전략의 중심이 '범용'에서 '워크로드'로 이동

단순히 칩을 바꾸려는 시도보다 인프라 운영의 효율성을 높이려는 최적화 흐름이 먼저 나타나고 있다. 실제 생산 환경에서의 플랫폼 채택률은 오히려 상승했다. 마이크로소프트 애저(Azure)의 생산 도입률은 6월 29%에서 7월 47.1%로, 구글 제미나이(Gemini)는 41.1%에서 47.6%로 증가했다. 오픈AI(OpenAI)와 앤스로픽(Anthropic) 역시 각각 49.4%, 24.7%의 도입률을 기록하며 생산 환경 내 점유율을 넓혔다.

인프라 효과를 측정하는 기준도 운영 중심으로 구체화됐다. 가동 시간(Uptime)과 신뢰성을 중요 지표로 꼽은 응답자는 42.1%에서 51.2%로 늘었고, 처리량(Throughput)을 중시하는 비율도 21.5%에서 24.7%로 상승했다. 반면 전체 소유 비용(TCO)을 최우선으로 고려하는 비중은 34.6%에서 21.8%로 하락했다. 대신 '백만 토큰당 비용'을 우선시하는 응답이 7.5%에서 15.9%로 두 배 이상 증가하며, 시장의 관심이 일반적인 인프라 계획에서 개별 워크로드 단위의 정밀한 비용 및 성능 분석으로 옮겨가고 있음을 보여준다.

플랫폼 교체에 대한 긴급도는 오히려 낮아지는 추세다. 3개월 내에 플랫폼을 변경할 계획이라고 답한 비중은 6월 38.3%에서 7월 28.8%로 9.5%p 감소했다. 이는 기업들이 무조건적인 플랫폼 전환보다는 기존 클라우드 및 데이터 스택과의 통합(응답자의 40.0%가 최우선 순위로 선택)을 유지하면서, 특정 작업에 맞는 가속기를 선택적으로 추가하는 '옵셔널리티(Optionality)' 전략을 취하고 있기 때문이다.

AI 실무자가 주목해야 할 제어권과 다변화 신호

모델 제공자에게 종속되지 않고 아키텍처 제어권을 유지하려는 움직임은 'AI 하네스(AI Harness, 모델을 데이터·도구·보안 등에 연결하는 운영 계층)' 영역에서 명확히 드러난다. 7월 응답자의 79.2%는 단일 모델 제공자의 네이티브 스택에 통합되는 대신, 독립적인 도구를 섞어 쓰거나 자체적인 제어권을 유지하는 방식을 선호했다. 이는 6월의 65.3%보다 크게 상승한 수치다.

특히 컨텍스트 레이어(Context Layer)의 중요성이 커지고 있다. 응답자의 68.3%가 잘못된 컨텍스트로 인해 에이전트가 '확신을 가지고 틀린 답'을 내놓는 경험을 했다고 답했다. 이에 따라 유즈케이스별로 여러 리트리벌(Retrieval, 검색) 아키텍처를 혼합해 사용하겠다는 응답이 12.9%에서 28.7%로 늘었다. 실무자들은 이제 단일 모델의 성능보다, 모델 외곽에서 데이터를 어떻게 제어하고 검증할 것인지에 대한 아키텍처 설계에 더 많은 자원을 투입하고 있다.

이와 함께 가속기 접근성을 전문적으로 제공하는 네오클라우드(Neocloud)에 대한 기대감도 33%에서 38%로 상승했다. 한국의 AI 기업과 개발자들은 단순히 최신 GPU의 도입 시점을 기다리기보다, 워크로드별 비용 효율성을 따져 비엔비디아 칩을 섞어 쓰는 하이브리드 전략과 모델 외곽의 제어 계층을 직접 구축하는 방향을 검토해야 한다.