매일 아침 업무를 시작하며 챗봇에 접속한 팀장이 회사 내부 규정과 지난달 프로젝트 맥락을 일일이 다시 설명하고 있다. AI는 똑똑하지만 우리 회사가 어떻게 일하는지는 전혀 모른다. 질문할 때마다 배경지식을 새로 입력해야 하는 이 번거로움은 현재 많은 기업이 겪는 전형적인 모습이다.

API 서비스와 운영 계층의 구조적 차이

현재 기업용 AI 시장은 두 가지 방향으로 갈리고 있다. OpenAI나 Anthropic 같은 모델 제공사들은 API(프로그램 간의 대화 창구) 형태로 지능을 판매한다. 사용자가 문제를 던지면 AI가 답을 주는 방식이다. 이 지능은 범용적이지만 상태가 저장되지 않으며 실제 업무 흐름과는 느슨하게 연결되어 있다.

반면 일부 기업은 AI를 운영 계층(업무 소프트웨어와 데이터 수집, 피드백 루프가 결합된 시스템)으로 구축하고 있다. Ensemble(전문가 지식을 AI로 전환하는 솔루션 기업)은 지식 증류(전문가의 노하우를 기계가 읽을 수 있는 데이터로 바꾸는 과정) 전략을 사용한다. 예를 들어 의료 수익 사이클 관리 시스템에 이 방식을 적용하면 시스템이 부족한 부분을 찾아 전문가에게 질문하고 그 답변을 다시 지식 베이스에 쌓는다.

수치로 보면 그 차이는 더 명확하다. 한 조직이 매주 5만 건의 사례를 처리하고 사례당 3개의 핵심 결정 지점만 캡처해도 매주 15만 건의 라벨링된 예시(정답이 표시된 데이터)를 얻을 수 있다. 별도의 데이터 수집 프로그램 없이도 업무 과정 자체가 학습 데이터가 되는 구조다.

도메인 데이터가 만드는 진입 장벽

쉽게 말하면 기존의 AI 활용법이 똑똑한 외부 프리랜서를 그때그때 고용하는 것이라면, 운영 계층 방식은 회사 내부의 베테랑 직원을 키우는 것과 같다. 프리랜서는 일처리는 빠르지만 작업이 끝나면 모든 맥락을 잊어버린다. 하지만 베테랑은 매일 겪는 예외 상황과 수정 사항을 통해 스스로 성장하며 조직의 암묵지를 흡수한다.

비유하자면 AI 모델은 엔진이고 운영 계층은 자동차의 차체와 내비게이션이다. 엔진이 아무리 강력해도 도로 상황을 모르고 목적지까지 가는 경로가 설계되어 있지 않으면 무용지물이다. AI 네이티브 스타트업은 최신 엔진을 빠르게 장착할 수 있지만, 수년간 쌓인 업계의 행동 데이터와 운영 지식이라는 차체는 쉽게 만들 수 없다.

여기에 Human-in-the-loop(인간 참여형 설계, AI의 판단 과정에 사람이 개입해 정답을 알려주는 방식) 구조가 더해지면 격차는 더 벌어진다. 전문가는 AI가 제시한 옵션 중 하나를 선택하거나 잘못된 가정을 수정한다. 이 개입 자체가 고가치의 학습 신호가 되어 모델의 업데이트 주기와 상관없이 시스템의 성능을 실시간으로 끌어올린다.

결국 기업 AI의 승부는 모델의 성능이 아니라 업무 흐름 속에 얼마나 촘촘한 학습 그물을 쳐두었느냐에서 결정된다.