발표에서 확인된 핵심 사실
많은 이들이 AI의 가장 비싼 과정은 수만 대의 GPU를 돌려 지식을 배우는 학습 단계라고 믿는다. 하지만 실제 돈이 들어가는 지점은 AI가 우리 질문에 답을 내놓는 추론 단계다. 배포된 모델이 수명을 다할 때까지 사용하는 전체 컴퓨팅 비용의 80~90%가 바로 이 추론 과정에 집중되어 있다. 거대한 뇌를 만드는 비용보다 그 뇌를 매 순간 꺼내 쓰는 비용이 훨씬 크다는 의미다.
2026년에는 AI 추론이 전체 AI 컴퓨팅의 약 3분의 2까지 확대될 전망이다. 이제는 텍스트의 최소 단위인 토큰을 얼마나 빠르게 처리하고 응답 지연시간을 줄이느냐가 인프라의 경제성을 결정하는 핵심 기준이 됐다. 단순히 모델의 성능을 높이는 것보다, 정해진 자원으로 얼마나 많은 토큰을 효율적으로 뱉어내느냐가 기업의 경쟁력이 되는 셈이다. 토큰 처리 비용과 속도가 낮아질수록 서비스 운영 효율은 올라가며, 이는 곧 인프라 전체의 수익성으로 이어진다.
구체적인 처리 규모는 구글의 데이터에서 확인된다. 구글은 2026년 5월 자사 서비스 전반에서 월 3.2천조 개의 토큰을 처리했다고 공개했다. 1년 전 기록한 월 480조 개보다 7배나 급증한 수치이며, 2024년 초 월 9.7조 개였던 것과 비교하면 그 증가 폭은 더욱 압도적이다. 이 모든 수치는 모델을 가르치는 학습 비용이 아니라, 오직 사용자의 요청에 응답하며 실시간으로 계산을 수행한 결과다.
지속 배치(Continuous Batching)
AI가 답변을 내놓는 속도는 처음부터 끝까지 일정하지 않다. 질문 전체를 한꺼번에 읽어 들이는 프리필(prefill) 단계는 연산량과 첫 토큰이 나올 때까지의 지연시간인 TTFT(Time To First Token)에 직접적인 영향을 받는다. 반면 토큰을 하나씩 생성하는 디코드(decode) 단계는 메모리 대역폭, 즉 데이터를 주고받는 통로의 넓이와 생성 속도 및 비용에 묶인다. 이처럼 병목이 발생하는 지점이 서로 다르기에 배치나 양자화, 추측 디코딩 같은 각기 다른 최적화 기술을 사용해 성능을 끌어올린다.
GPU 자원을 낭비 없이 쓰기 위해 스케줄러는 지속 배치(Continuous Batching) 방식을 도입한다. 데이터가 신경망을 통과하는 순전파 과정마다 새로운 요청을 즉시 추가하고, 답변이 완료된 시퀀스는 바로 제거해 GPU를 연속적으로 가득 채운다. 요청이 모두 끝날 때까지 기다리지 않고 빈자리를 계속 메우는 방식으로 연산 효율을 극대화한다. 하드웨어의 유휴 시간을 최소화하려는 전략이다.
vLLM(고성능 추론 엔진)의 PagedAttention은 KV 캐시(이전 토큰 정보를 저장하는 메모리)를 운영체제의 가상 메모리처럼 고정된 페이지 단위로 관리한다. 메모리 곳곳에 빈틈이 생겨 자원이 낭비되는 단편화 현상을 방지함으로써 전체 처리량을 2~4배까지 높인다. 불필요한 메모리 낭비를 없애 더 많은 데이터를 동시에 처리할 수 있는 구조를 만든다. 한정된 메모리 자원을 쪼개어 효율적으로 나누어 쓰는 셈이다.
프롬프트 캐싱은 반복 입력 비용을 최대 90% 절감함
매번 똑같은 지침이나 긴 문서를 복사해서 붙여넣는 일은 꽤 번거롭다. 이런 반복 입력을 미리 저장해두는 프롬프트 캐싱(자주 쓰는 데이터를 임시 저장소에 보관하는 기술)을 쓰면 똑같은 내용을 다시 계산하는 비용을 획기적으로 줄일 수 있다. 시스템 프롬프트나 문서 접두사처럼 매 질문마다 반복되는 입력을 캐싱하는 방식이다. Anthropic과 OpenAI는 캐시 입력에 대해 일반 입력 대비 90% 수준의 할인을 제공한다. Anthropic의 경우 일반 입력은 100만 토큰당 3달러지만, 캐시 읽기는 0.30달러만 받는다. 긴 프롬프트를 처리할 때 발생하는 지연시간도 약 85% 단축되어 사용자가 느끼는 대기 시간이 크게 줄어든다. 이는 방대한 문서를 분석하는 작업에서 특히 체감되는 변화다.
서비스를 운영하는 기업 입장에서 인프라 유지 비용은 칩 구매 비용보다 훨씬 무겁다. 4대 하이퍼스케일러(초대형 클라우드 서비스 기업)가 2026년에 지출할 것으로 예상되는 자본지출 규모는 전년 대비 77%나 증가한 7,250억 달러에 달한다. 이 거대한 자금의 60% 이상은 AI 칩 자체가 아니라 전력을 공급하고 열을 식히는 냉각 시스템, 그리고 데이터 센터 건물을 짓는 물리적 인프라 구축에 투입된다. 칩이라는 두뇌를 사는 것보다 그 두뇌가 안정적으로 작동할 환경을 만드는 데 더 많은 돈이 들어가는 셈이다. 추론 효율을 높여 계산량을 줄이는 기술은 단순한 비용 절감을 넘어 물리적 인프라의 부담을 덜어주는 실질적인 해결책이 된다.
챗GPT의 답변이 한 글자씩 타닥타닥 출력되는 장면은 단순한 시각적 효과가 아니다. 입력을 한꺼번에 읽는 프리필과 토큰을 하나씩 만드는 디코드 과정이 톱니바퀴처럼 맞물려 돌아간 결과다. AI 모델 생애 비용의 80~90%가 학습이 아닌 이 추론 단계에서 발생한다는 점을 기억해야 한다.
이제 추론 서비스 업체를 선택할 때 단순한 가격보다 첫 토큰 지연시간인 TTFT와 캐시 효율을 기준으로 판단할 때다. AI 인프라의 진짜 실력은 모델의 크기가 아니라 응답의 효율성에서 결정된다.
