많은 회사가 AI 도구를 샀다. 직원들이 더 빨리 일할 수 있을 것이라 믿었기 때문이다. 하지만 시간이 흐르자 회사들은 매달 날아오는 청구서를 보며 당황하기 시작했다. 돈은 엄청나게 쓰고 있는데, 실제로 회사가 얼마나 이득을 봤는지는 아무도 정확히 모른다. 왜 이런 일이 벌어졌을까.

5만 개의 계정과 정체 모를 GPU 비용

해외 매체에 따르면 Red Hat(기업용 소프트웨어를 관리해 주는 회사)의 관계자는 기업들의 실제 상황을 전했다. 어떤 회사는 Copilot(업무를 도와주는 AI 비서 도구) 계정을 5만 개나 샀다. 하지만 정작 직원들이 이 도구로 어떤 성과를 냈는지는 파악하지 못하고 있다. 반면 지출 내역에는 GPU(AI의 복잡한 계산을 빠르게 처리하는 전용 칩) 비용이 엄청나게 찍혀 있다.

처음 2년 동안 기업들은 돈을 아끼지 않았다. 일단 만들어보는 것이 중요했기 때문이다. 그러나 이제는 예산을 짜야 하는 시기가 왔다. 이제 기업들은 단순히 AI를 쓸 수 있느냐가 아니라, 낸 돈만큼의 가치를 얻었느냐를 따지기 시작했다. 주목할 점은 많은 회사가 돈을 어디에 썼고 그 결과가 무엇인지 연결해서 볼 수 있는 도구가 없다는 사실이다. 결국 돈은 쓰는데 효과는 모르는 상태가 되었다.

토큰 소비자와 생성자의 갈림길

지금까지 대부분의 회사는 API(서로 다른 프로그램이 대화를 나눌 수 있게 연결해 주는 통로)를 통해 토큰(AI가 글자를 읽고 쓰는 최소 단위)당 비용을 내는 방식을 썼다. 남이 만들어 놓은 AI를 빌려 쓰고 사용한 만큼 돈을 내는 구조다. 하지만 경험이 쌓인 기업들은 이 방식에 의문을 갖기 시작했다. 무조건 빌려 쓰는 것보다 직접 AI를 운영하는 것이 더 쌀 수 있다는 계산이 나왔기 때문이다.

이에 따라 기업들은 토큰 소비자에서 토큰 생성자로 변하려고 한다. 직접 GPU를 빌리거나 사서 DeepSeek(누구나 가져다 쓸 수 있게 공개된 AI 모델) 같은 공개 모델을 사용하는 방식이다. 모든 일에 가장 똑똑하고 비싼 모델을 쓸 필요는 없다는 깨달음 때문이다. 쉬운 일은 작고 싼 모델에 맡기고, 어려운 일에만 비싼 모델을 쓰는 전략이다.

그러나 여기서 이상한 현상이 나타난다. Anthropic의 대표는 AI 추론(AI가 배운 내용을 바탕으로 답을 내놓는 과정) 비용이 매년 60%씩 낮아지고 있다고 말했다. 그런데도 기업이 내는 전체 돈은 줄어들지 않는다. 이는 제본스의 역설(물건의 효율이 좋아져서 가격이 내려가면, 오히려 사람들이 더 많이 써서 전체 사용량이 늘어나는 현상) 때문이다. 비용이 싸지자 기업들이 AI를 훨씬 더 많은 곳에 적용했고, 결과적으로 전체 지출은 더 늘어난 셈이다. 결국 단가가 낮아지는 것보다 사용량이 늘어나는 속도가 더 빨랐다.

유연한 구조가 생존을 결정하는 이유

이제 기업들에게 필요한 것은 무조건 빠른 도입이 아니다. 상황에 따라 모델을 쉽게 바꿀 수 있는 유연함이다. 특정 회사에 완전히 종속되면 나중에 더 좋은 모델이 나와도 갈아타기 어렵고 비용만 계속 낼 가능성이 크다. 반면 여러 모델을 섞어 쓸 수 있는 구조를 만들면 비용을 조절하면서 실험을 계속할 수 있다.

주목할 점은 우리가 AI를 쓴 기간이 고작 3년 정도밖에 안 됐다는 것이다. 앞으로 어떤 기술이 나올지 아무도 모른다. 따라서 지금의 가격에 맞추는 것보다, 내일 가격이 바뀌어도 바로 대응할 수 있는 기술적 준비를 하는 것이 더 중요하다. 결국 이기는 기업은 가장 많은 돈을 쓰는 곳이 아니라 가장 빠르게 변화에 적응하는 곳이 될 것이다.

AI 투자의 핵심은 이제 효율적인 모델 배분과 유연한 시스템 구축으로 옮겨가고 있다.