AI 도입 시 발생하는 '이중 지불'의 실체

업무에 ChatGPT나 Claude 같은 AI를 도입하려는 기업들이 가장 먼저 맞닥뜨리는 고민은 보안이다. 사티아 나델라 마이크로소프트(Microsoft) CEO는 AI 사용자가 비용과 데이터라는 두 가지 형태로 대가를 치르는 '이중 지불' 구조를 경고했다. 사용료라는 명시적 비용 외에 기업의 핵심 자산인 내부 데이터까지 함께 지불하고 있다는 지적이다.

사용자는 AI를 사용할 때마다 토큰(AI가 텍스트를 처리하는 기본 단위) 사용료를 지불한다. 하지만 모델의 성능을 높여 실제 업무에 유용하게 만들기 위해서는 외부로 유출되어서는 안 될 기업의 독점적 지식과 내부 노하우를 입력해야 한다. 결국 사용료를 내고 지능을 구매하면서, 동시에 그보다 더 가치 있는 기업 비밀을 모델 제공자에게 제공하는 결과가 된다.

이러한 종속 위험으로 인해 오픈소스 모델로의 전환이 빨라지고 있다. 지난달 Vercel(웹사이트 제작 및 배포 플랫폼)의 게이트웨이를 통해 라우팅된 전체 트래픽 중 오픈소스 모델이 차지한 비중은 29%를 기록했다. Vercel과 OpenRouter(여러 AI 모델을 하나의 통로로 연결해 주는 서비스) 모두 오픈소스 모델 트래픽이 급증하는 현상을 보이고 있다.

사용자의 수정 데이터가 모델의 지능으로 흡수되는 과정

AI가 틀린 답을 내놓을 때 사용자가 이를 바로잡는 행위는 모델의 성능을 높이는 직접적인 재료가 된다. 모델은 사용자가 입력한 프롬프트, 에이전트가 사용한 도구, 특히 오류를 교정하는 과정에서 발생하는 배출물(exhaust)을 통해 학습한다. 사용자가 정답을 다시 알려주거나 업무 흐름을 교정하는 모든 행위는 기업 내부의 구체적인 업무 수행 방식과 전문 지식으로 변환되어 모델 속에 쌓인다. 이는 경쟁사가 비용을 지불해도 구매할 수 없는 고유한 지식이 모델 제공자에게 귀속되는 구조다.

사티아 나델라 MS CEO는 프롬프트와 피드백 같은 데이터 소유권을 기업이 온전히 유지해야 한다고 강조한다. 이를 위해 기업이 클라우드 기반의 독점적 학습 환경을 직접 구축해 데이터를 보호하며 학습시켜야 한다고 제안했다. 이와 함께 오케스트레이션 레이어(orchestration layer, 여러 AI 모델을 효율적으로 배치하고 전환하는 관리 층) 도입을 강조했다. AI 게이트웨이를 통해 특정 모델 제공자에 종속되지 않고 상황에 맞춰 모델을 쉽게 교체할 수 있는 환경을 구축함으로써 데이터 주권과 모델 선택의 자유를 동시에 확보하라는 전략이다.

데이터 주권 확보를 위한 온프레미스와 증류 전략

대규모 기업들은 이미 외부 서버가 아닌 회사 내부 서버에 직접 설치하는 온프레미스(on-prem) 방식으로 오픈소스 모델을 도입하고 있다. Solo.io의 CEO 이딧 레빈(Idit Levine)은 고객들이 독점 모델을 먼저 실험한 뒤, 오픈소스 모델을 내부 서버에서 직접 구동하는 방식으로 전환하는 흐름을 확인했다고 밝혔다. 이렇게 구축한 오픈소스 모델은 대형 모델 성능의 약 90%를 구현하면서도 운영 비용을 낮추고 제어권을 직접 쥐는 실리를 제공한다.

사티아 나델라 MS CEO는 기업들이 독점 모델을 증류(distillation)해 새로운 모델을 학습시키는 것이 정당하다고 주장한다. 증류는 모델의 출력값을 활용해 작동 방식을 배우고, 그 통찰력을 바탕으로 더 저렴한 새 모델을 훈련시키는 방법이다. AI 기업들이 인터넷 데이터를 자유롭게 수집해 학습시킨 것처럼, 기업 역시 모델의 출력을 통해 배울 권리가 있다는 논리다. 기업은 이 과정을 통해 독점 모델의 성능을 흡수하면서도 비용 효율적인 자체 모델을 확보해 데이터 종속 위험을 낮출 수 있다.

기업이 AI 사용료를 내면서 핵심 노하우까지 넘겨주는 상황은 정보 유출과 다름없다. 모델의 지식을 작은 모델로 옮기는 증류 기술이나 여러 모델을 상황에 맞게 갈아 끼우는 오케스트레이션 레이어를 도입해 이러한 종속 구조를 해결해야 한다.

폐쇄형 모델에 데이터를 종속시키기보다 오픈소스 모델을 내부에 직접 구축해 데이터 주권을 되찾는 판단이 필요한 시점이다. 결국 AI 시대의 경쟁력은 어떤 모델을 쓰느냐가 아니라, 내 데이터를 얼마나 안전하게 통제하느냐에서 결정된다.