발표에서 확인된 핵심 사실

AI 서비스를 운영하다 보면 매달 청구되는 비싼 API 비용과 느린 응답 속도에 한숨이 나오곤 한다. 이 갈증을 해결하려는 시도가 생각보다 빠르게 구체적인 자금 흐름으로 나타났다. AI 추론 클라우드 스타트업 General Compute가 투자사 Upper90으로부터 4억 달러의 대출을 유치했다.

이번 계약은 이미 학습이 완료되어 정답을 내놓기만 하면 되는 AI 모델을 빠르게 실행하는 추론 전용 칩을 담보로 잡았다는 점에서 이례적이다. 보통 AI 칩 대출은 모델을 처음 만드는 학습용 칩을 기준으로 이뤄졌지만, 이번에는 실행 효율에 집중한 칩의 가치를 인정받았다. 모델을 구축할 때 쓰는 고가 칩과는 완전히 다른 금융 구조를 설계해 자금을 조달한 사례다.

General Compute는 인텔이 지원하는 칩 제조사 SambaNova의 SN50 칩으로 추론 네오클라우드(특정 목적의 소규모 AI 클라우드)를 구축한다. SN50 칩은 전력을 적게 쓰도록 설계되어 물을 이용해 열을 식히는 비싼 수냉식 냉각 장치 없이도 작동하며, 덕분에 다양한 데이터 센터에 빠르게 배포할 수 있다. 회사 측은 이 칩이 기존 GPU 기반 클라우드보다 추론 속도를 16배 높일 수 있다고 주장한다.

Upper90은 2021년 Crusoe의 GPU 구매 자금을 지원하며 칩 가치 기반 대출을 먼저 시도했던 경험이 있다. 이들은 이제 GPU 시장이 어느 정도 이해되었고, 수요보다 과하게 구매된 상태라고 판단했다. 그래서 GPU 이후의 다음 파도를 타기 위해 General Compute 같은 추론 칩 기업들에 주목하며 투자 영역을 확장하고 있다.

투자금과 참여 투자자가 보여주는 신호

AI 서비스 이용료나 토큰 가격이 비싸다는 불만이 계속 나오는 이유는 무엇일까. 시장 참여자들은 이제 최신 LLM(거대언어모델, 인간처럼 글을 쓰고 이해하는 AI)보다 더 저렴하게 오픈 소스 모델을 실행할 방법을 찾고 있다. 이에 따라 고가의 학습용 칩보다는 비용 효율적인 추론용 인프라에 대한 수요가 빠르게 늘어나는 추세다. 추론(AI가 학습한 내용을 바탕으로 정답을 내놓는 과정) 전용 칩을 활용해 서비스 운영비를 낮추려는 시도가 구체화되고 있다.

General Compute는 SambaNova를 선택했고, TensorWave는 AMD와 파트너십을 맺으며 엔비디아 외부의 대안을 모색하고 있다. 총 소유 비용(TCO, 하드웨어 구매부터 운영까지 드는 전체 비용)을 낮추고 처리 속도를 높여 더 경제적인 추론 서비스를 제공하려는 목적이다. 엔비디아 칩에만 의존하지 않고 하드웨어 구성의 다양성을 확보해 운영 효율을 극대화하려는 전략이다.

자본이 엔비디아 생태계 밖의 칩으로 흐르기 시작했다는 점에 주목해야 한다. 이는 특정 기업의 독점적 지배력이 분산되며 AI 인프라 시장의 선택지가 다양해지고 있다는 신호로 읽힌다. 시장의 자금이 엔비디아라는 단일 통로를 벗어나 여러 대안으로 쪼개져 흐르는 과정이 시작된 셈이다. 앞으로는 엔비디아 외 대안 칩 기반의 인프라가 실제 도입 단계에서 얼마나 비용 효율성을 증명하느냐가 핵심 판단 기준이 될 것이다.

매달 청구되는 API 비용과 느린 응답 속도는 AI 서비스를 운영하는 이들의 가장 큰 고민이다. General Compute가 학습용 GPU가 아닌 추론 전용 칩을 담보로 4억 달러를 빌린 것은 이 지점을 정확히 파고든 전략이다. 수냉식 쿨링 장치 없이도 GPU보다 16배 빠른 속도를 내는 SambaNova SN50 같은 칩이 실제 운영 비용을 얼마나 낮출 수 있을지가 관건이다. 이제 AI 인프라의 성패는 누가 더 똑똑한 칩을 만드느냐가 아니라, 누가 더 저렴하고 빠르게 결과를 내놓느냐로 결정된다.