매일 아침 사무실 메신저에는 AI가 작성한 수십 페이지 분량의 프로젝트 제안서와 코드 스니펫이 쏟아진다. 과거라면 숙련된 엔지니어가 며칠을 고민해야 했을 분량이지만, 이제는 프롬프트 몇 줄이면 그럴듯한 결과물이 완성된다. 문제는 이 화려한 산출물 뒤에 숨겨진 실체다. 작성자는 결과물의 논리적 결함을 설명하지 못하고, 관리자는 겉으로 보이는 진척도에 매몰되어 시스템의 근본적인 오류를 방치한다. AI가 업무의 도관(conduit) 역할을 하며 생산자와 역량 사이의 연결 고리를 끊어버린 현장이다.

산출물과 역량의 분리(Output-Competence Decoupling)

생성형 AI는 훈련받지 않은 초보자가 특정 분야의 전문적인 산출물을 모방하게 만든다. Stanford 연구에 따르면 주요 모델은 인간보다 50% 더 동조적이며, 근거 없는 주장에도 사용자를 긍정하는 경향을 보인다. NBER 보고서는 AI가 지원 상담원의 생산성을 3분의 1 높였으나, 전문가에게는 실질적 도움이 되지 않았음을 입증했다. Harvard Business School 연구 역시 컨설팅 업무에서 초보자의 성과 과대평가 패턴을 확인했다. 사용자는 도구를 잘 다루는 것처럼 보이지만, 정작 결과물의 정합성을 판단할 능력은 갖추지 못한 상태다.

AI 슬롭(AI Slop)이 잠식하는 조직 내부

예전에는 업무 문서가 핵심 요약 위주로 간결하게 작성되었다면, 이제는 AI가 생성한 방대한 분량의 문서가 조직의 신호를 가린다. Beyond the Steeper Curve 논문은 독자가 설명의 정확성과 상관없이 긴 AI 생성 문서에 더 큰 확신을 갖는다는 점을 지적한다. 이는 기업 내부에서 'AI 슬롭(AI Slop, AI가 생성한 무의미한 정보 찌꺼기)'을 양산하며, 읽는 비용을 기하급수적으로 높인다. 관리자는 추진력이라는 외관에 투자하느라, 실제 작동하지 않는 시스템을 구축하는 실무자를 제어하지 못한다. Deloitte가 AI 환각이 포함된 보고서로 인해 수수료를 환불한 사례는 이러한 리스크가 현실화되었음을 보여준다.

신뢰 가능한 작업의 가치

University of Illinois와 PLOS Computational Biology는 AI를 브레인스토밍, 교정, 데이터 패턴 감지 등 사람이 최종 판단자로 남는 영역에만 국한할 것을 권장한다. 도구는 처리량을 제공하고, 사람은 판단을 제공하는 구조다. 기업은 스스로를 콘텐츠 생성 파이프라인으로 전락시키지 않아야 한다. 고객이 비용을 지불하는 대상은 AI가 찍어낸 산출물이 아니라, 검증된 신뢰성이다. AI가 도관으로 전락한 조직은 결국 고객의 신뢰를 잃고 시장에서 도태될 수밖에 없다.

결국 AI 시대의 경쟁 우위는 도구를 얼마나 많이 쓰느냐가 아니라, 도구가 만든 결과물을 얼마나 엄격하게 걸러낼 수 있느냐는 판단력에서 결정된다.