실무 적용의 마지막 구간, '라스트 마일' 전문화

VB Transform 2026에서 NTT DATA AIVista의 CEO 브라틴 사하(Bratin Saha)는 프런티어 모델을 규제가 엄격한 실제 생산 환경에 적용할 때 발생하는 '라스트 마일(Last-mile)' 과제를 제시했다. 모델 자체의 성능보다 신뢰성, 컨텍스트, 가드레일, 보안이 기업 가치 창출의 결정적 요인이 된다는 분석이다.

GPT-5.5나 Opus 4.8, Fable 5 같은 최신 프런티어 모델들이 다국적 보험 청구와 같은 복잡한 규제 워크플로우에서는 기대 이하의 정확도를 보인다는 점이 지적됐다. 특히 수기 작성 문서나 체크박스가 많은 복잡한 서식 처리에서 한계를 드러낸다. 이를 해결하기 위해 모델 하나에 의존하는 것이 아니라, 모델을 둘러싼 전체 시스템을 전문화하는 '라스트 마일 전문화' 방식이 필요하다.

이번에 제시된 '라스트 마일' 작업은 세 가지 핵심 요소로 구성된다. 먼저 기업의 컨텍스트를 캡처해 AI가 소비할 수 있는 형태로 만드는 것이고, 다음으로 비용 효율성을 위해 여러 모델을 섞어 쓰는 앙상블(Ensemble) 방식을 운영하며, 마지막으로 모델의 오류를 체크해 재작업을 강제하는 전문 가드레일을 추가하는 것이다.

파인튜닝(Fine-tuning)은 이번 전략에서 제외됐다. 의 최신 기업 설문조사 결과, 파인튜닝은 기업들의 모델 선택 우선순위에서 최하위를 기록했다. 대신 기업이 외부에 공개할 수 없는 독점 데이터와 문서화되지 않은 내부 워크플로우, 즉 '부족적 지식(Tribal Knowledge)'을 시스템화하여 모델을 제어하는 방향에 집중한다.

모델 중심에서 시스템 중심으로의 투자 흐름 변화

기업들이 AI 예산을 투입하는 우선순위가 모델 자체에서 모델을 둘러싼 시스템 구축으로 이동하고 있다. 기술 그 자체가 병목 현상이 아니라, 도메인 전문 지식과 변화 관리(Change Management) 역량이 실제 가치 창출의 핵심이라는 판단 때문이다. 단순히 기술을 배포하는 것이 아니라, 기존의 워크플로우를 A 지점에서 B 지점으로 이동시키는 과정으로 AI 도입을 정의한다.

도입 경로는 기존 워크플로우에 AI를 먼저 임베딩(Embedding)한 뒤, 이후에 워크플로우 자체를 재설계하는 2단계 과정을 거친다. 미션 크리티컬한 운영을 수행하는 기업일수록 작동 중인 프로세스를 갑자기 교체하는 위험을 피하려 하기 때문에, 점진적인 변화 관리가 우선시된다.

모델의 지능을 모델 내부가 아닌 주변 시스템에 유지하는 방식은 '교체 가능성(Swappability)'을 확보해 준다. 오픈 웨이트(Open-weight)나 오픈소스 모델이 성숙해짐에 따라, 실수 비용이 낮은 작업에는 오픈소스 모델을 쓰고 고도의 추론이 필요한 경우에만 프런티어 모델을 사용하는 앙상블 전략을 취할 수 있다.

NTT DATA가 가진 경쟁력은 세계 최대 규모의 보험 제3자 관리자(TPA)로서 20년간 쌓아온 도메인 지식에 있다. 이러한 전문 지식을 에이전트에 인코딩하는 능력은 단순한 기술력만으로는 단기간에 복제하기 어려운 지속 가능한 우위 요소로 작용한다.

AI 실무자가 주목해야 할 도입 판단 기준

한국의 AI 실무자와 기업이 이번 사례에서 주목해야 할 지점은 '투자 지점의 재설정'이다. 모델의 성능 수치에 매몰되어 예산을 집행하기보다, 우리 조직 내에 문서화되지 않은 실무 지식을 어떻게 캡처하고 이를 가드레일로 변환할 것인지에 대한 설계 역량을 확보하는 것이 더 시급하다.

관찰해야 할 핵심 지표는 모델의 벤치마크 점수가 아니라, 실제 규제 환경의 워크플로우에서 발생하는 오류율과 이를 잡아내는 가드레일의 정교함이다. 특히 비용 최적화를 위해 프런티어 모델과 오픈소스 모델을 어떻게 적절히 배분하여 앙상블 구조를 짤 것인지가 운영 효율성을 결정짓는 기준이 된다.

결국 기업용 AI의 성패는 모델의 체급이 아니라, 현장 작업자가 실제로 일을 처리하는 방식을 얼마나 정확하게 시스템으로 옮겼느냐에 달려 있다. 기술 도입 단계에서 '변화 관리'와 '도메인 전문성'을 기술적 구현과 동일한 비중으로 다루는 전략적 접근이 필요하다.