하드웨어 및 모델 계층의 자본 집중과 성능 수렴

NVIDIA의 데이터센터 매출은 2026년 4월 종료 분기에 전년 대비 92% 증가한 752억 달러를 기록했다. 총마진은 약 75%이며, AI 가속기 시장 점유율은 약 80% 수준이다. 이와 동시에 4대 하이퍼스케일러(Amazon, Alphabet, Microsoft, Meta)의 2026년 1분기 설비투자는 총 1,310억 달러에 달했다. 세부적으로는 Amazon 442억 달러, Alphabet 357억 달러, Microsoft 309억 달러, Meta 198억 달러가 투입되었으며, 2026년 연간 가이던스는 6,000억 달러 이상으로 향하고 있다.

물리적 인프라의 제약은 칩 설계를 넘어 패키징과 전력으로 이동했다. TSMC의 CoWoS(Chip on Wafer on Substrate, 첨단 패키징 기술) 생산능력은 2025년 월 7만 웨이퍼에서 2026년 11만 웨이퍼로 늘어나지만 이미 매진 상태이며, NVIDIA는 2027년까지 공급의 과반을 예약했다. 메모리 부문에서도 HBM(High Bandwidth Memory, 고대역폭 메모리) 수요가 2025년 약 130%, 2026년 추가로 약 70% 증가하며 공급 압박이 심화되고 있다.

모델 계층에서는 폐쇄형 모델과 공개 가중치 모델의 성능 격차가 빠르게 좁혀지고 있다. Stanford AI Index의 Chatbot Arena 기준, 최고 폐쇄형 모델과 공개 가중치 모델의 격차는 2024년 1월 8.04%에서 2025년 2월 1.70%로 감소했다. MMLU(Massive Multitask Language Understanding) 벤치마크에서도 2023년 약 17.5점이었던 격차가 사실상 사라졌다. Hugging Face(허깅페이스, 오픈소스 모델 저장소)에 등록된 모델은 220만 개를 넘어섰으며, Qwen이 Llama를 제치고 가장 많이 다운로드된 모델 계열로 올라섰다.

가치 중력의 작동 방식과 추론 플랫폼의 경제성

AI 스택의 가치는 대체 가능성이 낮고 물리적 제약이 큰 하위 계층으로 쏠리는 '가치 중력' 현상을 보인다. 자본 집약도가 진입장벽이 되면서 연간 5,000억 달러 이상의 설비투자를 집행하는 하이퍼스케일러의 자본 자체가 해자가 된다. 또한, 데이터 플랫폼의 경우 파이프라인과 테이블, 모델이 누적될수록 이전 비용이 상승하는 데이터 중력이 형성되어 Databricks(데이터브릭스)와 Palantir(팔란티어) 같은 기업의 기업가치를 높이는 근거가 된다.

모델 성능이 수렴함에 따라 가치는 모델 가중치 자체보다 이를 효율적으로 실행하는 추론 플랫폼으로 이동하고 있다. Fireworks AI, Together AI, Baseten 같은 추론 플랫폼 기업들은 공개 가중치 모델을 프로덕션 환경에서 최적화하여 제공함으로써 빠르게 성장했다. 예를 들어, 월 500억 개의 출력 토큰을 처리하는 중간 규모 AI 기능의 경우, 최전선 API의 가격(100만 토큰당 10~15달러)보다 추론 플랫폼의 가격(100만 토큰당 0.40~1달러)이 90% 이상 저렴하다. 플랫폼 사업자는 이 비용 절감액의 일부를 마진으로 확보하는 구조를 가진다.

반면, 범용 애플리케이션 로직은 모델이 직접 수행할 수 있게 되면서 스택에서 가장 쉽게 대체될 수 있는 계층이 되었다. 모델 연구소가 추론 인프라를 소유하고 에이전트를 직접 구축해 판매할 경우, 독립적인 애플리케이션 계층의 입지는 더욱 좁아진다. 다만, 복잡한 에이전트 작업이나 프로덕션 코딩 등 최상위 성능이 필요한 영역에서는 Anthropic(앤스로픽)이나 OpenAI(오픈AI) 같은 프리미엄 모델 계층이 여전히 가치를 유지한다.

개발자 및 실무자의 도입 판단 기준과 마진 구조

AI 네이티브 애플리케이션 개발자는 기존 SaaS의 마진 구조를 그대로 적용해서는 안 된다. 전통적인 SaaS는 추가 사용자 지원 비용이 거의 없어 75~90%의 총마진을 확보했으나, AI 애플리케이션은 요청마다 모델을 실행해야 하는 가변 매출원가가 발생한다. ICONIQ의 2026년 데이터에 따르면 성장 단계 AI 기업의 추론비는 평균적으로 매출의 약 23%를 차지하며, 이로 인해 총마진은 50~60% 수준에 머문다. 단순 래퍼(Wrapper) 앱의 경우 총마진이 25%까지 하락할 수 있다.

이에 따라 실무자는 다음의 구체적인 방어 전략을 통해 가치평가 배수를 높여야 한다. 첫째, 독점 데이터 루프를 구축하여 모델이 학습할 수 없는 고유 데이터를 축적해야 한다. 둘째, 단순 인터페이스를 넘어 기업의 핵심 데이터를 관리하는 기록 시스템(System of Record) 역할을 수행해야 한다. 셋째, 규제된 워크플로를 점유하거나 실질적인 유통망을 확보하여 대체 가능성을 낮춰야 한다. 마지막으로, 추론비 하락이 자사 마진으로 이어질 수 있도록 성과 기반 가격 책정 모델을 도입하는 것이 필요하다.

투자 및 운영 관점에서는 매출 배수의 차이를 주목해야 한다. 기반 모델 기업은 25~50배, AI 네이티브 플랫폼은 25~30배의 배수를 적용받는 반면, 차별화되지 않은 AI 래퍼는 5~8배 수준으로 기존 SaaS 중앙값(약 6.7배)과 비슷하거나 더 낮게 평가된다. 따라서 개발자는 모델의 성능 향상보다 '데이터 중력'을 어떻게 형성할 것인지, 그리고 추론 비용을 어떻게 효율적으로 관리하여 마진을 회복할 것인지에 집중해야 한다.