AI 서비스의 상용화과 추론 비용의 경제학

AI 서비스의 이면에는 토큰당 비용과 API 호출 효율이라는 비용 계산이 필수적이다. Travelers Insurance는 OpenAI의 실시간 API를 활용해 보험금 청구 시스템을 구축했다. 허리케인 같은 재난 시 급증하는 콜센터 대기 시간을 줄이기 위해, 고객이 전화 접수 단계에서 AI 어시스턴트와 상호작용하는 옵션을 선택할 수 있게 했다.

추론 비용의 하락은 AI 서비스의 상용화 문턱을 낮춘다. MiniMax는 입력 100만 토큰당 0.3달러, 출력 1.2달러의 저가 API 플랜을 제공한다. 월 20달러 요금제에서는 텍스트, 이미지, 음성, 음악이 통합된 M3 토큰을 약 17억 개까지 사용할 수 있다. 이 모델은 100조 개 이상의 토큰으로 텍스트와 이미지를 동시에 학습시킨 네이티브 멀티모달 구조를 채택해, 이미지 인코더 없이 좌표 계산 등 이미지 구조를 직접 추론한다.

학습 데이터의 범위는 물리적 세계의 움직임으로 확장되고 있다. Cosmos 3는 20조 개의 토큰으로 구성된 멀티모달 물리 AI 데이터셋을 학습했으며, 여기에는 비디오와 사운드 외에 인간과 로봇의 행동 궤적(action trajectories)이 포함됐다. Claude Opus 4.8은 가상 시민의 급여와 기업 대차대조표까지 구현해 세금, 복지, 수요와 공급이 작동하는 자율 경제 시스템을 시뮬레이션한다.

실제 적용 사례가 늘어나며 노동 시장에 대한 예측도 수정되고 있다. 샘 알트먼은 진입 단계 화이트칼라 직무의 위험성을 경고했던 이전 주장이 틀렸음을 인정했다. 다리오 아모데이 역시 화이트칼라 일자리 50% 소멸 주장 대신 자동화를 통한 업무 확장을 언급했다.

에이전트 워크플로우와 인프라의 실질적 변화

개발자의 작업 대기 시간이 단축되고 있다. MiniMax가 코딩 에이전트 워크플로우와 100만 토큰 컨텍스트 윈도우를 지원하는 오픈 웨이트 모델 M3를 출시했다. M3는 네이티브 멀티모달 기능을 단일 모델에 결합한 첫 번째 오픈 웨이트 모델이다. Vera CPU는 코드 컴파일, 테스트 실행, 데이터 검색 등 에이전트 워크로드에서 기존 x86 프로세서보다 최대 1.8배 빠른 처리 속도를 제공하며 실제 작업 완료 시간을 단축하는 데 집중한다.

코드를 쓰지 않고 외부 도구를 연결하는 환경도 구축됐다. Zapier는 MCP(Model Context Protocol) 서버를 제공해 Gmail, Notion, Slack 등 수천 개의 도구를 에이전트가 즉시 사용할 수 있게 한다. 설정 단계에서 URL을 제공하면 Claude Code나 OpenClaw 등 다양한 에이전트와 호환된다. AI 청구 어시스턴트는 고객의 의도를 파악해 레거시 시스템에 청구 내용을 설정하고 정비소나 렌터카 예약 같은 후속 활동을 직접 제어한다.

자본은 칩 설계에서 인프라 조립 및 운영 기업으로 집중되고 있다. Dell은 NVIDIA GPU를 모아 랙과 냉각 시스템을 구축하는 통합 하드웨어 제공업체로 전환했다. 올해 Dell의 주가는 240% 상승했으며, 두 차례의 실적 발표 이후 주가가 80% 급등했다.

하드웨어 병목 해소와 세계 모델의 구축

최신 칩셋의 교체 주기가 짧아지며 하드웨어의 물리적 한계가 성능의 병목이 됐다. 마이크로소프트(Microsoft)는 수천억 달러 규모의 GPU를 구매하고도 전력 공급과 냉각 시스템, 배선 문제로 장비를 창고에 방치했다. 델(Dell)은 NVIDIA GPU를 탑재해 모델 학습과 추론에 최적화된 서버 및 데이터 센터 랙(Rack)을 공급하며 인프라 구성 능력으로 하드웨어 성능을 실현한다.

엔비디아(NVIDIA)는 AI 에이전트 전용 CPU인 베라(Vera)를 출시했다. 이 CPU는 강화 학습과 데이터 처리 등 에이전트 기반 AI의 작업 조정과 로직 실행 부하를 처리하는 데 최적화된 고성능 에너지 효율 제품이다. 동시에 애자일 로봇, 블랙 포레스트 랩스, 제너럴리스트, LTX, 런웨이, 스킬드 AI가 참여하는 코스모스 코알리션(Cosmos Coalition)을 결성해 현실 세계를 모델링하는 세계 모델 플랫폼의 주도권을 확보하려 한다.

샘 알트먼(Sam Altman)은 자신의 슬랙(Slack)과 이메일 응답을 AI에 위임하려 했으나 실패해 다시 수동으로 처리하고 있다. 반면 보험 분야에서는 손실 상담 에이전트(Loss consultation agent)가 보장 범위와 자기부담금, 청구 시 보험료 영향 등을 안내하며 고객의 결정을 돕는다. 앤스로픽(Anthropic)의 상장 과정에서 공개될 매출 성장, 추론 비용, 매출 총이익, 클라우드 약정, 기업 고객 유지율은 AI 인프라 투자의 효율성을 검증하는 기준이 된다.

이러한 기술적 진보는 기업 가치 산정 방식과 고용 구조에도 영향을 미친다.

AI 기업의 밸류에이션과 노동 시장의 재편

Anthropic이 미국 증시 상장을 위해 비밀리에 신청서를 제출했다. 최근 언급된 밸류에이션은 9,650억 달러다. SpaceX, OpenAI와 함께 같은 해에 조 단위 IPO를 기록하는 사례가 될 수 있다.

기업들은 AI 도입을 이유로 인력을 줄이고 있다. 잭 도시(Jack Dorsey)는 AI가 1,000배의 생산성 규모를 가능케 한다며 Block 인력의 50%를 해고했다. Duolingo, Pinterest, Meta 역시 AI를 해고 사유로 언급했다. 이는 실제 AI 효과보다 제로 금리 시대의 과잉 채용으로 비대해진 조직을 줄이려는 수단으로 사용된 측면이 있다.

실무 현장의 효율화는 구체적인 수치로 증명된다. Travelers Insurance는 연간 약 150만 건의 보험금 청구 처리 규모를 자동화하고 있다. Claude Opus 4.8은 'ultra code'라는 노력 모드를 통해 Arc AGI와 Deep Suite 벤치마크에서 성과를 냈다. Cosmos 3는 시뮬레이션과 합성 데이터를 활용해 하드웨어 파손 위험이 큰 로봇 학습 주기를 수개월에서 수일로 단축한다. AWS CEO는 주니어 직원을 AI로 대체하는 것이 비효율적이라고 주장한다. 주니어는 비용이 가장 적고 AI 도구에 적극적이며, 이들을 대체하면 10년 후 소프트웨어 구축 능력을 갖춘 인력이 사라지기 때문이다.

물리적 AI의 한계 돌파와 시장 수용 가능성

NVIDIA는 물리적 AI를 위한 오픈 월드 파운데이션 모델인 Cosmos 3를 발표했다. 시각, 추론, 세계 생성, 행동 예측을 하나의 시스템으로 결합해 로봇과 자율주행차가 주변 환경을 인지하고 계획을 세우는 기반 레이어 역할을 수행한다.

MiniMax의 M3는 새로운 MSA(MiniMax Sparse Attention) 아키텍처를 도입했다. 콘텐츠 블록의 점수를 매겨 중요한 부분에만 어텐션을 실행함으로써, 속도 저하 없이 최소 512,000개에서 최대 100만 토큰의 컨텍스트 윈도우를 보장한다. M3는 Browser comp, SVG bench, kernel bench hard, OS world 벤치마크에서 Opus 4.7과 GPT-5.5를 앞섰으며, Software engineering bench pro에서는 59%를 기록해 GPT 5.5와 Gemini 3.1 pro보다 높은 수치를 보였다.

M3는 수천 단계의 작업을 수행하는 롱 호라이즌(long horizon) 일관성 능력을 입증했다. CUDA 커널 최적화 작업에서 하드웨어 활용도를 7.6%에서 71.3%로 높였고, ICLR 2025 논문을 12시간 만에 재현했다. OpenAI는 코딩 분야의 발전을 앞세워 GPT 5.6을 곧 출시한다는 루머가 있으며, 일부에서는 성능 수준을 고려해 GPT 6라는 명칭이 더 적절하다고 본다.

AI 도입의 우선 적용 대상으로 FNOL(First Notice of Loss, 사고 접수) 단계가 선정됐다. 자동차 물리적 손상 분야부터 적용해 전체 청구 프로세스의 방향을 결정하며, 높은 처리량을 바탕으로 다른 사업 영역으로 확장할 계획이다. 2013년 244억 달러의 가치로 비공개 전환했다가 2018년 재상장한 Dell은 이러한 AI 인프라를 공급하는 역할을 맡는다.

OpenAI와 SpaceX 같은 초거대 유니콘의 상장 기대감이 높다. 하지만 이들의 밸류에이션과 자본 요구량은 공모 시장의 흡수 능력을 초과할 위험이 있다. 클라우드 크레딧을 통한 우회 투자와 막대한 설비투자 구조가 그 증거다. AI 기업의 가치는 이제 단순 성장률이 아닌 증시 수용 가능 규모라는 관점에서 평가해야 한다. 시장이 감당할 수 있는 크기가 기업의 실질적 가치를 결정한다.