facts

기성 파운데이션 모델의 API를 그대로 쓰는 대신, 오픈웨이트 모델을 깊게 커스텀해 확장 가능한 멀티 에이전트 AI 아키텍처를 구축한 사례가 나왔다. 캐피털원(Capital One)은 메타(Meta)의 Llama 같은 오픈웨이트 모델에 기업 내부의 독자 데이터를 학습시켜 최적화하고, 이를 관리하는 자체 오케스트레이션 하네스인 MACAW(Multi-Agentic Workflow)를 도입했다.

MACAW로 명명된 이 워크플로우는 단일 거대언어모델(LLM)이 처리하기 어려운 복잡한 과업을 여러 전문 에이전트에게 분산시킨다. 연간 수백만 건의 전화가 발생하는 은행 사기 대응 서비스가 대표적이다. 먼저 '이해 에이전트'가 고객의 의도를 파악하면, '추론 에이전트'가 요약본을 생성하고, '검증 에이전트'가 사실 관계를 확인하며, 마지막으로 '설명 에이전트'가 필요한 세부 사항이 포함된 문서를 완성한다. 이 과정을 통해 수백 명의 고객 서비스 상담사가 수작업으로 작성하던 긴 통화 기록 요약 업무를 자동화했다.

고객 접점 서비스인 자동차 쇼핑 비서 '챗 컨시어지(Chat Concierge)'에도 동일한 분업 구조가 적용됐다. 고객과 대화하는 에이전트, 비즈니스 규칙에 따라 실행 계획을 세우는 에이전트, 정확도를 평가하는 에이전트, 결과를 검증하고 설명하는 에이전트가 협업하는 방식이다. 내부 인프라 관리 영역에서도 자율 에이전트 솔루션을 구축해 백엔드 호스팅 인프라의 최적 설정을 찾아내고 지연 시간(Latency)을 최소화하는 실험을 자동 수행하고 있다.

market-flow

데이터의 독점적 가치를 모델의 경쟁력으로 전환하려는 채택 흐름이 뚜렷하다. 캐피털원은 일반적인 프런티어 모델이 제공할 수 없는 내부의 풍부한 데이터와 실시간 컨텍스트를 오픈웨이트 모델에 직접 학습시켰다. 이 과정에서 특정 유스케이스를 위해 모델을 커스텀하면, 해당 모델이 기업 내부의 정책과 용어에 익숙해지면서 포트폴리오 전체의 성능이 함께 올라가는 '제너럴 리프트(General Lift)' 효과가 확인됐다.

단일 모델의 성능에 의존하지 않고 여러 모델을 조합해 비용과 정확도를 최적화하는 라우팅 전략으로 경쟁 구도가 옮겨가고 있다. 특정 영역에서 강점을 보이는 서로 다른 모델들을 배치하고, 요청에 따라 최적의 모델로 연결하는 '라우팅 추상화 계층'을 통해 개별 모델 하나를 쓸 때보다 더 높은 정확도를 확보하겠다는 계산이다.

이는 단순히 소프트웨어를 도입하는 수준을 넘어, 거버넌스가 내장된 중앙 집중형 AI 플랫폼을 구축해 비용과 지연 시간 임계치를 직접 제어하려는 기업들의 움직임을 보여준다. 기성 제품(Off-the-shelf)의 편의성보다 데이터 주권과 정밀한 제어권을 확보하는 것이 금융 서비스와 같은 고규제 산업에서 실질적인 가치를 만드는 경로가 되고 있다.

reader-impact

AI 실무자가 주목할 지점은 LLM 도입의 단계를 '단일 챗봇'에서 '에이전트 오케스트레이션'으로 전환하는 설계 방식이다. 특히 복잡한 업무 프로세스를 이해-추론-검증-설명이라는 단계적 역할로 쪼개고, 각 단계에 최적화된 모델을 배치하는 구조는 한국 기업들이 복잡한 내부 업무를 자동화할 때 참고할 수 있는 구체적인 설계 패턴이다.

향후 관찰해야 할 신호는 '이벤트 기반의 선제적 AI(Proactive AI)'로의 진화다. 사용자의 프롬프트를 기다리지 않고 특정 조건이 감지되면 AI가 먼저 개입해 조치를 취하는 시스템이다. 캐피털원은 이를 통해 사기 탐지 및 대응 능력을 높이겠다고 밝혔다. 다만 이러한 선제적 에이전트를 실제 운영 환경에 배포하기 위해서는 훨씬 더 엄격한 테스트와 모니터링 체계가 전제되어야 한다는 점이 핵심 제약 조건이다.

결국 기업 AI의 성패는 어떤 모델을 선택하느냐가 아니라, 보유한 독자 데이터를 어떻게 모델에 녹여내고, 이를 어떤 에이전트 구조로 엮어 실제 업무의 품질 바(Quality Bar)를 맞추느냐에 달려 있다.