LLM의 입력값 증가에 따른 자원 소모의 가속화

ChatGPT나 Claude에 입력하는 텍스트 분량이 늘어날수록 답변 생성 속도가 느려진다. 이는 LLM(거대언어모델)이 입력값이 증가함에 따라 시간과 자원 소모가 더 빠르게 늘어나는 이차 함수적 스케일링(quadratically scale) 특성을 갖기 때문이다. 처리해야 할 단어가 많아질수록 시스템이 점유하는 메모리 양은 급증하고 연산에 소요되는 시간은 더 가파르게 상승한다.

일반적인 소프트웨어는 로그 스케일링(logarithmic scaling)을 통해 데이터 양이 늘어나도 효율성을 유지하거나 자원 소모를 억제한다. 하지만 LLM은 입력값이 커질수록 자원 소모 속도가 가속화되는 구조를 가진다. 컴퓨터 과학 관점에서 이는 입력 데이터의 증가분보다 자원 요구량이 훨씬 더 빠르게 늘어나는 비효율적인 작동 방식이다.

생성형 AI 모델의 크기는 2020년 1,750억 개의 파라미터(매개변수)에서 현재 1조 개 이상으로 팽창했다. 업계는 모델이 클수록 성능이 뛰어나다는 데이터에 기반해 스케일링 법칙(scaling laws)을 적용하며 크기를 확장해 왔다. OpenAI의 CEO 샘 올트먼(Sam Altman)은 10기가와트의 컴퓨팅 자원을 투입한다면 AI가 암 치료법을 찾아낼 수 있을 것이라며 막대한 컴퓨팅 자원 확보의 필요성을 강조했다.

수확 체감의 법칙과 무차별 대입 방식의 한계

모델 규모를 키우면 지능도 비례해서 높아질 것이라는 기대와 달리, 실제로는 추가 파라미터당 성능 향상 폭이 줄어드는 수확 체감 현상이 나타난다. 동일한 수준의 성능 개선을 이루기 위해 투입해야 하는 파라미터의 증가량은 이전보다 훨씬 많아졌으며, 결국 일정한 진보를 유지하기 위해 모델 크기를 더 빠른 속도로 확장해야만 하는 상황에 직면했다. 이는 생산량이 늘어날수록 단위당 비용이 낮아지는 일반적인 소프트웨어의 규모의 경제 원리와 정반대로 작동하는 구조다.

AI 기업들은 단순 연산량을 늘려 문제를 해결하는 무차별 대입(brute-force) 방식을 고수하고 있다. OpenAI 공동 창립자 Ilya Sutskever는 수조 달러의 가치를 인정받고 있는 제품을 재설계하는 연구에 투자하는 것보다 기존 방식을 유지하는 것이 투자 리스크가 낮다고 설명했다. 이미 시장에서 거대한 가치를 인정받은 제품의 설계를 완전히 다시 짜는 연구는 성공 여부가 불확실하기 때문이다. 리스크를 최소화하기 위해 선택한 이 방식은 막대한 인프라 비용 지출과 공학적 비효율성을 발생시키며, 모델의 성능 향상 속도가 둔화되는 시점과 맞물려 기업의 실질적인 수익성을 악화시킨다.

이러한 공학적 비효율과 무차별적인 자원 투입은 결국 물리적인 하드웨어 공급망의 위기로 이어진다.

AI 기업의 메모리 독점이 초래한 하드웨어 시장의 왜곡

AI 기업들이 시장의 고성능 자원을 독점하면서 일반 소비자 시장에 영향을 주고 있다. ChatGPT와 Claude 같은 대규모 언어 모델은 구동과 학습 과정에서 막대한 자원을 소모한다. 테크 기업들이 전 세계 고성능 컴퓨터 메모리 공급량의 70%를 구매하면서 심각한 공급 부족 현상이 발생했고, 이는 하드드라이브와 노트북 가격이 급격히 상승하는 직접적인 원인이 됐다. 한 전망에 따르면 저가형 입문용 컴퓨터는 2028년까지 시장에서 완전히 사라질 가능성이 크다.

물리적 인프라 확장은 메모리 수급을 넘어 전력망 확보 경쟁으로 번지고 있다. 미국 내 데이터 센터 용량은 향후 몇 년간 8배 확대될 계획이며 이에 따른 전력 수요는 이미 극심한 수준에 도달했다. 전력 공급이 수요를 따라가지 못하자 일부 기업은 제트 엔진을 재활용해 전력을 생산하고 있다. 전력망 부족이라는 제약은 데이터 센터의 확장 속도를 결정짓는 결정적인 변수가 됐으며, 고성능 메모리 독점과 에너지 수급난은 AI 인프라 운영의 실질적인 리스크로 작용하고 있다.

LLM은 투입 자원 대비 성능 향상이 둔화되는 수확 체감 구간에 진입했다. 모델 규모라는 수치보다 인프라 비용 대비 실질적 지능 향상 폭을 기준으로 가치를 판단해야 한다.