토큰 단가보다 중요한 지능의 매출원가

ChatGPT나 Claude의 API 비용이 부담스러워 저렴한 오픈소스나 중국산 모델로 교체하는 경우가 많습니다. 하지만 단순히 토큰 단가가 낮다고 해서 전체 운영 비용이 줄어드는 것은 아닙니다. AI 사업의 실질적인 경쟁력은 모델 개발비가 아니라, 정답 수준의 지능을 제공하는 데 들어가는 매출원가(COGS, 제품을 만드는 데 직접 들어간 비용)에서 결정됩니다.

토큰은 모델마다 정답에 도달하는 데 필요한 양이 다르므로 서로 대체 가능한 상품이 아닙니다. 사용자가 실제로 구매하는 것은 토큰이 아니라 토큰을 조합해 만들어낸 지능입니다. 따라서 토큰 단가보다 정답이라는 결과물을 얻기 위해 총 몇 개의 토큰이 소모되는지가 더 중요합니다.

중국 연구소들은 증류(distillation, 큰 모델의 지식을 작은 모델에 전달하는 기술)를 통해 미국 최첨단 모델을 저비용 교사로 활용하고 있습니다. 강화학습 환경을 처음부터 구축하는 대신 이미 검증된 모델의 답안을 학습시켜 성능 격차를 빠르게 좁히는 방식입니다.

표시 가격과 실제 지능 제공 비용의 차이

싼 가격표가 항상 낮은 지출을 보장하지는 않습니다. Kimi K3는 입력 100만 토큰당 3달러, 출력 15달러로 Sol의 입력 5달러, 출력 30달러보다 표시 가격이 낮습니다. 하지만 Kimi K3가 정답을 내기 위해 Sol보다 훨씬 많은 토큰을 사용한다면 실제 청구 금액은 더 커집니다. 겉으로 보이는 단가보다 정답에 도달하는 효율이 실제 비용을 결정합니다.

AI가 지능을 제공하는 매출원가는 다섯 가지 요소로 결정됩니다. 모델 크기는 가중치와 실행 상태를 유지하기 위한 고가 메모리와 가속기(전용 연산 장치)의 수를 결정합니다. 추론 효율은 토큰 하나를 생성할 때 들어가는 계산량을 정하며, 모델 전체가 아닌 필요한 부분만 활성화하는 MoE(Mixture-of-Experts) 구조가 이를 가능하게 합니다. 메모리 효율은 KV 캐시라는 임시 저장 공간의 요구량을 낮춰 GPU 활용률을 높이는 기술입니다.

서빙 효율은 배치 처리, 스케줄링, 접두사 캐싱을 통해 여러 요청 사이의 작업을 공유하며 GPU의 빈틈을 메우는 능력입니다. 마지막으로 토큰 효율은 정답을 맞히는 데 필요한 토큰 수가 적을수록 추론 비용을 낮추는 핵심 요소입니다. 모델 도입의 수익성은 단순 단가가 아니라 작업 하나를 끝내는 데 드는 전체 비용을 기준으로 판단해야 합니다.

오픈 웨이트 모델의 산업 활용과 보안 사례

중국은 모델의 내부 설계도인 가중치를 공개하는 오픈 웨이트 방식을 통해 AI를 범용 상품으로 만들고 있습니다. 알리바바의 Qwen3.8 Max나 문샷 AI(Moonshot AI)의 Kimi K3 같은 대형 모델을 앞세워 도입 비용을 낮추는 중입니다. 디지털 세계에서 검증된 지능을 로보틱스와 같은 물리 산업으로 이식해 자국 제조 기업의 생산성을 높이려는 전략입니다.

보안 분야에서도 오픈 웨이트 모델의 활용이 두드러집니다. 허깅페이스(Hugging Face)는 미국 최첨단 모델의 안전 필터(가드레일)가 공격 흔적 분석 작업까지 차단하는 상황에 직면했습니다. 이에 중국 Z.ai의 오픈 소스 모델인 GLM 5.2를 자체 인프라에서 직접 실행해 공격자가 남긴 17,000개 이상의 로그와 흔적을 정밀하게 분석해냈습니다. 방어자가 제약 없는 고성능 모델을 확보하지 못하면 결국 중국 모델에 의존하게 되는 상황입니다. 보안 방어 시 가드레일 제한이 없는 고성능 오픈 웨이트 모델의 확보가 필수적인 이유입니다.

싼 가격표만 보고 모델을 바꿨는데 오히려 청구서 금액이 늘어나는 상황이 생길 수 있다. AI가 글자를 읽고 쓰는 최소 단위인 토큰 단가가 낮아도, 정답을 찾기 위해 너무 많은 추론 과정을 거치면 결국 지출은 커지기 때문이다. 이제는 단순한 단가 비교가 아니라 작업 하나를 완수하는 데 드는 총비용을 기준으로 모델을 선택해야 한다. AI 도입의 수익성은 결국 정답에 도달하는 가장 짧은 경로를 찾는 효율성에서 결정된다.