인간의 피드백을 규칙으로 변환하는 제어 구조
금융 실무처럼 오차가 허용되지 않는 영역에서는 완전한 자율성보다 정교한 통제가 더 빠른 정답을 만든다. 모건스탠리가 도입한 FIXR(P&L 정산 AI 에이전트)는 인간이 루프에 밀접하게 참여하는 'Human-in-the-loop' 방식을 통해 이를 구현했다.
사용자가 시스템의 권장 사항을 검토하고 승인하거나 수정하면, 이 결정은 일회성 수정에 그치지 않고 시스템이 적용할 수 있는 반복 가능한 규칙으로 변환되어 누적된다. 이 피드백 루프는 다음 실행 단계의 성능을 개선하며 인간의 판단 기준을 시스템 작동 원리로 내재화한다.
운영 효율을 위해 모델의 판단 의존도를 의도적으로 제한했다. 결과가 일정해야 하는 결정론적 워크플로우 구간은 고정 규칙으로 처리해 토큰 소비를 줄이고 실행의 반복성을 높였다. LLM(거대언어모델)은 결정론적 흐름이 필요 없는 영역에서만 제한적으로 활용하며, 모델의 추론보다 확정된 규칙의 실행에 우선순위를 둔다.
프로세스 마이닝과 세 가지 에이전트의 협업 체계
모건스탠리는 실무 워크플로우에 최적화된 배포 파이프라인을 구축해 프로덕션 코드 배포 주기를 단축했다. 모델의 파라미터 크기보다 배포 파이프라인의 정교함이 실질적인 성능 차이를 만든다는 판단에서다.
FIXR는 세 가지 특화된 역할을 수행하는 에이전트들이 협업하는 구조다. 먼저 과거 지침을 해석해 당일의 해결책을 개발하는 에이전트가 업무를 시작한다. 이어 컨트롤러의 행동을 학습해 적용된 규칙을 문서화하는 에이전트가 판단 근거를 데이터로 기록하며, 마지막으로 반복 패턴을 영구적인 자동화 로직으로 변환하는 에이전트가 AI 특유의 추론 가변성을 제거하고 실행의 일관성을 부여한다.
시스템 구축 전에는 프로세스 인텔리전스 평가를 통해 업무 흐름을 데이터로 분석하고 병목 지점을 식별했다. 전체 워크플로우를 매핑하고 마이닝하여 AI 에이전트 도입이 최선인지, 아니면 기존 자동화 방식이나 프로세스 재설계가 적합한지 판단하는 기준을 적용했다. 이처럼 비효율 지점을 먼저 정의하는 접근 방식이 실무 도입 비용과 리스크를 낮춘다.
손익 정산 시간 단축과 실무자의 역할 변화
이러한 제어 구조는 실제 정산 현장에서 구체적인 수치로 나타난다. 모건스탠리는 정확성과 기한이 엄격한 손익 정산(P&L reconciliation) 워크플로우에 FIXR를 배치했다. 그 결과, 단일 장부를 처리하는 데 최대 6시간이 소요되던 작업이 2~3시간으로 단축되었다.
이 시스템을 활용하는 약 100명의 컨트롤러(Controller)는 매주 총 1,500시간의 업무 시간을 절감한다. 컨트롤러들은 이제 시간이 많이 소요되는 기초 대조 작업 대신, 리스크를 심층적으로 고려하고 분석의 정밀도를 높이는 고부가가치 업무에 집중한다. 기술적 자동화가 실무자의 전문성을 단순 확인 작업에서 심층 분석으로 확장하는 도구로 작동하는 셈이다.
결국 실무형 AI의 완성도는 모델의 지능이 아니라 인간의 전문성을 얼마나 정교한 규칙으로 치환하느냐에 달려 있다. 무조건적인 자율성보다 인간의 피드백을 규칙화하는 루프를 설계하는 것이 환각 현상을 제어하고 실무 도입 리스크를 관리하는 핵심 장치가 된다.
환각 현상에 대한 불안으로 AI 도입을 망설이는 실무자에게 모건스탠리의 FIXR 사례는 명확한 해법을 제시한다. 6시간의 정산 업무를 2~3시간으로 단축한 동력은 모델의 자율적 추론이 아니라, 인간의 결정 패턴을 고정된 규칙으로 변환해 적용한 구조에 있다. 무조건적인 자율성보다 인간의 피드백을 규칙화하는 루프를 설계하는 것이 도입 비용과 리스크를 제어하는 실무적 장치가 된다. 결국 실무형 AI의 완성도는 모델의 지능이 아니라 인간의 전문성을 얼마나 정교한 규칙으로 치환하느냐가 결정한다.
