개별 대화의 '완벽함'이 가리는 제품의 결함

AI 에이전트와의 단일 대화가 겉보기에 완벽한 점수를 기록하더라도, 실제 제품은 망가져 있을 수 있다. VB Transform 2026에 참석한 랭체인(LangChain) CEO 해리슨 체이스, 컨비바(Conviva) CTO 후이 장, 코어위브(CoreWeave) 엔지니어링 디렉터 엠마누엘 투를레는 이러한 평가의 간극을 메우기 위한 전략 변화를 제시했다.

기존의 평가 방식은 개별 트레이스(Trace, AI의 추론 과정 및 응답 기록)를 하나씩 점수 매기는 방식이었다. 하지만 후이 장은 이를 '대조 분석(Contrastive Analysis)'으로 전환해야 한다고 주장한다. 예를 들어, 리테일 에이전트가 고객의 질문에 적절히 답해 신발 구매까지 이끌었다면 개별 대화 점수는 높게 나온다. 그러나 전체 사용자 집단(코호트)을 분석했을 때, 해당 카테고리에서 에이전트가 묻는 확인 질문의 횟수가 기준선보다 3배 높거나, 대화 밖에서 구매를 완료하는 비율이 5배 높다면 이는 제품의 결함으로 해석해야 한다.

해리슨 체이스는 평가 기준을 한 번의 테스트 세트로 끝내는 것이 아니라, 소프트웨어 개발의 제품 요구 사양서(PRD)처럼 '살아있는 명세서'로 취급해야 한다고 설명했다. 평가 세트가 완벽해질 때까지 출시를 미루는 '평가 마비(Eval Paralysis)' 상태에 빠지기보다, 먼저 출시한 뒤 반복적으로 개선하는 것이 더 효율적이라는 분석이다.

판별 모델의 계층화와 비용 최적화 흐름

에이전트의 성능을 판별하는 '판별자(Judge)' 모델의 채택 흐름은 고성능 모델에서 점차 좁고 저렴한 모델로 이동하고 있다. 엠마누엘 투를레는 가장 성능이 좋은 모델로 작업 가능성을 먼저 증명한 뒤, 점진적으로 더 작은 모델로 내려가는 계층적 접근법을 제안했다. 최상위 모델로도 해결되지 않는 문제는 작은 모델로도 해결할 수 없기 때문이다.

이러한 흐름은 실제 비용 절감으로 이어진다. 랭체인은 사용자가 에이전트의 실수를 인지했다고 느끼는 '인지된 오류(Perceived Error)'를 감지하기 위해 알리바바의 오픈소스 모델인 큐웬(Qwen)을 파인튜닝했다. 수동 레이블링과 증류(Distillation) 기법을 결합한 결과, 클로드 소네트(Claude Sonnet)와 유사한 성능을 내면서도 비용은 10배에서 100배까지 낮췄다.

모든 가드레일에 LLM이 필요한 것은 아니라는 점도 확인됐다. 클로드 코드(Claude Code)의 경우, 복잡한 소형 LLM 대신 정규 표현식(Regex)이라는 전통적인 프로그래밍 기법을 사용해 패턴을 검증하고 가드레일을 구현했다. 이는 무조건적인 모델 도입보다 작업의 성격에 맞는 도구를 선택하는 것이 비용과 효율 면에서 유리함을 보여준다.

실무자가 주목해야 할 '평가 패러독스'와 대응책

한국의 AI 실무자와 개발자가 주목해야 할 지점은 사전 테스트의 한계와 책임 소재의 문제다. 엠마누엘 투를레는 테스트 커버리지를 100%로 맞추려 노력했음에도 실제 운영 환경에서 버그가 발생했던 경험을 언급하며, 광범위한 온라인 모니터링의 중요성을 강조했다. 먼저 넓은 범위의 온라인 체크 시스템을 구축해 실제 실패 사례를 식별하고, 이를 바탕으로 타겟팅된 오프라인 평가 세트를 구축하는 역순의 접근이 필요하다.

또한, 자동화된 판별 모델이 도입되더라도 '인간 참여(Human-in-the-loop)'는 여전히 필수적이다. 특히 법률, 금융, 의료와 같이 법적 책임이 따르는 분야에서는 모델이 스스로 책임을 질 수 없으므로 최종 승인 단계에 사람이 반드시 개입해야 한다.

결국 인간의 개입은 단순한 안전장치를 넘어, 시스템이 학습하고 기억하며 사용자의 신뢰를 구축하는 핵심 경로가 된다. 실무자는 자동화된 평가 지표에만 의존하기보다, 패턴 수준에서 기계가 찾아낸 오류를 인간이 검증하고 이를 다시 시스템 학습으로 연결하는 선순환 구조를 설계하는 데 집중해야 한다.