기업의 AI 주권(AI sovereignty)을 위해 전체

2,180억 개라는 거대한 파라미터(인공지능의 지능을 결정하는 연결 고리)는 모델의 성능을 높이지만, 그만큼 막대한 컴퓨터 자원을 소모한다. 기업이 고성능 AI를 쓰면서도 데이터 유출 걱정 없이 직접 운영하려면 이 거대한 모델을 효율적으로 다루는 능력이 필수적이다. Cohere는 여기서 한 발 더 나아가 기업이 AI의 모든 작동 과정을 완전히 통제하는 AI 주권의 개념을 제시한다.

Cohere는 단순히 오픈 모델을 내려받거나 사내 방화벽 뒤에 애플리케이션을 실행하는 것만으로는 부족하다고 강조한다. GPU와 프라이빗 클라우드 인프라는 물론, 요청을 적절한 모델로 보내는 거버넌스 시스템과 커넥터, 검색 도구, 에이전트 프레임워크까지 전체 스택을 제어해야 한다. AI가 데이터를 찾고 답을 내놓는 모든 경로를 기업이 직접 쥐고 있어야 진정한 주권을 가졌다고 보는 것이다.

Command A+는 이런 주권을 구현하기 위해 MoE(전문가 혼합, 여러 전문 모델을 묶어 필요한 부분만 꺼내 쓰는 방식) 구조를 사용했다. 2,180억 개의 파라미터를 가졌지만 실제 생성 단계에서는 250억 개만 활성화해 계산량을 줄였다. 4비트 압축 버전은 프라이빗 배포에 필요한 하드웨어 요구 사양을 낮춰 진입 장벽을 헐었다. Apache 2.0 라이선스를 통해 기업이 모델을 입맛에 맞게 수정하고 운영할 수 있는 권한도 함께 제공한다.

기술이 실제로 작동하는 방식

가장 똑똑한 모델이 항상 정답은 아니다. 모든 요청을 무조건 최대 규모의 프런티어 모델(최첨단 성능을 가진 거대 AI)로 보내면 운영 비용이 치솟고 효율은 떨어진다. Cohere는 작업에 필요한 지능 수준과 규제 강도에 따라 모델을 나누어 배치하는 모델 라우팅(요청을 적절한 모델로 배분하는 기술) 전략을 제안한다. 실제 한 캐나다 은행은 이 방식을 통해 업무 성격에 맞게 모델을 구분해 사용한다. 규제가 엄격한 업무는 온프레미스(기업이 자체 서버에 설치해 운영하는 방식) 모델로 처리해 데이터 보안을 철저히 지킨다. 반면 덜 민감하지만 높은 지능이 필요한 작업은 Cohere의 North 플랫폼을 통해 프런티어 모델로 연결해 처리한다. 보안과 비용이라는 상충하는 가치를 모델 분배라는 최적화 기준으로 해결한 사례다.

기업용 검색 기술은 이제 단순한 글자 찾기 수준을 넘어섰다. 텍스트 추출을 넘어 문서와 이미지 등 다양한 형태의 정보를 동시에 찾는 멀티모달 검색(여러 형태의 데이터를 함께 처리하는 기술)이 최신 기술 트렌드로 자리 잡았다. 단순히 정보를 찾아 모델의 컨텍스트 윈도우(AI가 한 번에 기억하고 처리할 수 있는 정보 범위)에 집어넣는 기존의 수동적인 방식에서 벗어난 것이다. 이제 AI 모델은 다른 도구를 활용하듯 스스로 언제 어떻게 검색 기능을 사용할지 판단하고 결정한다. 이러한 검색 능력은 에이전트 워크플로우(AI가 목표 달성을 위해 스스로 계획하고 실행하는 과정)의 핵심 요소가 되어 전체 작업의 완성도를 높인다. 검색이 단순한 보조 수단에서 AI 에이전트의 판단 근거를 만드는 핵심 엔진으로 진화했다.

단순 챗봇에서 복잡한 에이전트로의 전환으로 인해 기업의 토큰

AI 모델의 가격이 내려가면 기업의 비용 부담도 자연스레 줄어들 것이라는 믿음이 있었다. 하지만 실제 현장에서는 토큰(AI가 텍스트를 처리하는 기본 단위) 사용량이 그보다 더 빠르게 치솟고 있다. 단순한 챗봇을 넘어 스스로 문제를 추론하고 도구를 호출하며 내부 시스템을 검색하는 에이전트로 진화했기 때문이다. 에이전트는 정답을 내놓기 전까지 내부적으로 수많은 사고 단계를 거치고 외부 도구와 상호작용한다. 이 과정에서 처리해야 할 데이터 양이 기하급수적으로 늘어나며, 이는 추론 가격이 하락하는 속도를 앞지르는 소비 증가로 이어진다.

모든 작업에 무조건 거대한 모델을 투입하는 방식은 비효율적이다. 코히어(Cohere)의 North Mini Code는 엔비디아 H100(AI 연산에 최적화된 고성능 그래픽 처리 장치) GPU 단 한 장에서 구동 가능하다. 터미널 작업이나 코드 리뷰, 도구 사용 같은 에이전트 기반 소프트웨어 엔지니어링 업무를 정밀하게 타격한다. 아주 복잡하고 난도가 높은 작업에서는 프런티어 모델(가장 앞선 성능을 가진 초대형 모델)보다 성능이 낮을 수 있다. 그럼에도 개발자들이 마주하는 유스케이스의 80%에서는 훨씬 저렴하면서도 효과적인 대안이 된다. 작업의 민감도와 필요한 지능 수준에 따라 모델을 적절히 분배하는 최적화 기준이 필요하다.

챗봇이 질문에 답하던 시대를 지나 AI가 직접 업무를 수행하는 에이전트로 진화하는 속도가 무섭다. 이제 AI 주권은 오픈 모델을 내려받는 수준을 넘어 GPU와 프라이빗 클라우드, 거버넌스까지 포함한 전체 스택의 제어권을 쥐는 일이다.

작업의 민감도와 필요한 지능 수준에 따라 적절한 모델로 요청을 보내는 모델 라우팅이 그 핵심이다. 무조건 거대한 모델을 고집하기보다 보안 요구치와 비용 효율에 따라 모델을 분배하는 최적화 기준을 세우는 것이 실질적인 생존 전략이다. 결국 AI 주권은 모델의 크기가 아니라 전체 인프라를 얼마나 정교하게 제어하느냐에 달려 있다.