많은 기업이 GPU를 저효율로 사용하고 있으며, 실제 컴퓨팅

ChatGPT나 Gemini 같은 AI를 서비스에 도입해 빠르게 성과를 내야 한다는 압박은 이제 모든 기업의 공통된 고민이다. 일단 장비부터 확보하고 보자는 분위기가 퍼지면서 인프라를 구매하는 속도가 실제 비용을 측정하고 통제하는 능력보다 훨씬 빠르게 진행되고 있다. 투입되는 자본의 규모에 비해 이를 관리할 체계가 따라가지 못하는 괴리가 발생하고 있다. 기업들이 느끼는 조급함이 인프라의 과잉 투자로 이어지는 모양새다.

응답 기업의 83%가 GPU(그래픽 처리 장치, AI 연산을 빠르게 처리하는 전용 칩) 활용도가 50% 이하라고 보고했다. 고가의 장비를 대량으로 구매했지만 실제로는 절반도 사용하지 않는 저효율 상태로 장비가 차갑게 식어 있다. AI 컴퓨팅 비용을 엄격하게 추적하고 관리할 수 있는 기업은 44%에 불과하다. 장비를 도입하는 속도에 비해 어디서 얼마만큼의 비용이 발생하는지 정밀하게 측정하는 능력이 턱없이 부족해 비용 통제가 어려운 상황이다.

기업의 76%는 여전히 AI를 실험 단계에서 다루거나 일부 업무에만 제한적으로 적용하고 있다. AI를 대규모로 실제 서비스에 적용해 운영하는 성숙한 단계에 도달한 기업은 21%뿐이다. 대다수 기업이 AI라는 도구를 어떻게 실무에 완전히 녹여낼지 갈피를 잡지 못한 채 일부 워크로드(컴퓨터가 처리해야 할 작업 단위)만 돌려보는 수준에 머물러 있다. 실제 서비스 규모를 키워 실질적인 비즈니스 가치를 창출하기보다는 소규모 테스트와 부분적인 적용에 그치고 있는 셈이다.

인프라 선택 시 토큰당 가격보다는 기존 스택과의 통합

무료 체험이 끝나고 첫 청구서를 받는 순간, 겉으로 보였던 단가와 실제 나가는 돈의 차이를 깨닫게 된다. 낱개 가격보다 이를 운영하는 전체 시스템의 효율이 더 중요해지는 지점이다. 실제로 기업들이 인프라를 선택할 때 100만 토큰당 가격을 결정 요인으로 꼽은 비중은 8%에 불과했다. 표면적인 가격표보다는 실제 운영 환경에서 발생하는 비용의 성격이 달라졌음을 보여준다.

기업들은 대신 기존 스택(서비스 구축에 사용한 소프트웨어와 하드웨어 조합)과의 통합을 41%라는 압도적인 비중으로 중요하게 생각했다. 총소유비용(TCO, 제품 구매부터 유지보수까지 들어가는 전체 비용)을 우선순위에 둔 곳은 35%였다. 토큰 하나를 얼마에 쓰느냐는 지엽적인 문제이며, 현재 쓰고 있는 시스템에 얼마나 매끄럽게 연결되는지와 운영 전반에 드는 총비용을 더 꼼꼼히 따지는 모습이다. 인프라를 교체할 때 발생하는 전환 비용과 관리 공수를 줄이는 것이 단순한 가격 할인보다 더 큰 이득이라고 판단한 결과다.

현재 AI 인프라는 하이퍼스케일러(대규모 클라우드 서비스 제공사)와 주요 모델 API 제공업체 중심으로 돌아간다. Google Cloud가 48%로 가장 많이 사용되며 Microsoft Azure 29%, AWS 22%, Oracle Cloud 22%가 그 뒤를 잇는다. 모델 API의 경우 Gemini와 OpenAI가 40%로 가장 높았고 Anthropic이 12%를 기록했다. 대형 클라우드 환경과 검증된 모델을 하나로 묶어 쓰는 방식이 시장의 표준으로 자리 잡았다.

투자금과 참여 투자자가 보여주는 신호

가전제품을 샀는데 전기요금이 얼마나 나올지 몰라 전전긍긍하는 상황과 비슷하다. 107개 기업을 조사한 결과, 인프라 투자 속도가 비용 제어 능력을 앞지르는 컴퓨트 갭 현상이 확인됐다. 컴퓨트 갭은 공격적인 투자 규모에 비해 실제 운영 비용이 얼마나 드는지 파악하지 못하는 상태를 말한다. 기업들은 이미 보유한 장비의 비용을 장부에 기록하고 분석하기도 전에 더 빠르게 다음 인프라를 구매하고 있다.

인프라 제공업체에 대한 신뢰는 생각보다 견고하지 않다. 응답자의 64%가 12개월 이내에 업체를 변경하거나 추가할 계획이며, 38%는 다음 분기 내에 이를 실행할 의사가 있다. 서비스의 뿌리가 되는 기반 인프라 영역에서 이 정도로 높은 이탈 의사가 나타나는 것은 매우 드문 사례다.

AI 도입 속도전 속에서 인프라 구매 속도가 비용 통제 능력을 앞지르는 컴퓨트 갭이 심화하고 있다. GPU 활용률이 절반에도 못 미치는 저효율 상태를 방치한다면 AI 전용 클라우드로의 전환은 선택이 아닌 생존의 문제가 된다. 이제는 겉으로 보이는 토큰 가격이 아니라 전체 소유 비용과 인프라 통합 능력을 기준으로 벤더를 평가해야 한다. AI 시대의 진짜 실력은 인프라의 규모가 아니라 비용을 읽어내는 정교한 통제력에서 나온다.