발표에서 확인된 핵심 사실

AI가 틀린 답을 내놓아 사람이 일일이 수정해 줬는데, 다음 날 똑같은 질문에 또 엉뚱한 답을 하는 상황은 흔하다. 수정하는 데 걸린 시간은 짧았지만 AI가 이를 학습해 내재화하는 시간은 사실상 멈춰 있는 셈이다. 이 반복을 끊으려면 AI 관측성(AI observability, AI가 어떤 과정을 거쳐 답을 냈는지 투명하게 들여다보는 기술)이 필요하다. 관측성은 프롬프트와 응답, 추론 경로, 도구 호출, 데이터 소스, 실패 모드와 결과에 대한 가시성을 제공한다. 단순히 AI를 모니터링하는 수준을 넘어, 관찰된 행동을 제도적 지식으로 바꾸어 AI를 가르치는 단계로 전환하게 한다.

에이전틱 학습 시스템은 행동, 결과, 지식, 미래 행동으로 이어지는 피드백 루프(결과를 다시 입력값으로 사용하는 순환 구조)를 통해 작동한다. 에이전트의 행동과 그에 따른 결과, 그리고 인간이 개입해 수정한 사항을 캡처하여 보존하는 방식이다. 유사한 패턴이 다시 나타났을 때 에이전트는 처음부터 다시 시작하지 않는다. 이전 사례를 검색해 현재 조건과 비교하고, 이미 증명된 진단 경로를 추천하며 더 나은 맥락과 함께 상급자에게 보고한다.

학습 지향적인 에이전틱 기업을 위해서는 메모리, 지식 베이스, 데이터 패브릭(흩어진 데이터를 하나로 연결하는 가상 층)으로 구성된 아키텍처가 필요하다. 메모리는 에이전트가 무엇을 보았고 어떤 행동을 했는지, 사람이 어디서 개입했고 어떤 결과가 나왔는지를 보존한다. 지식 베이스는 이러한 경험을 플레이북, 사례, 정책, 절차, 증거 같은 재사용 가능한 가이드로 전환한다. 데이터 패브릭은 로그, 메트릭, 티켓 등 운영 환경에 흩어진 신호들을 하나로 연결한다.

에이전틱 기업(agentic enterprise)의 핵심

AI가 제안한 해결책을 사람이 일일이 수정해 문제를 해결했는데, 다음번에도 AI가 똑같은 실수를 반복하는 상황을 겪곤 한다. 에이전틱 기업(AI 에이전트를 통해 업무를 자동화하는 기업)의 진짜 경쟁력은 모델의 성능이 아니라 이런 현장의 경험을 조직의 지식으로 바꾸는 능력에서 갈린다. 단순히 최신 모델을 도입하거나 자율 에이전트를 사용하는 단계를 넘어, 실제 운영 과정에서 발생하는 경험을 포착하는 것이 우선이다. 이렇게 포착한 경험을 제도적 지식(조직 전체가 공유하는 공식적인 정보)으로 전환하면, 미래의 에이전트가 내릴 의사결정과 워크플로우에 즉시 활용해 같은 실수를 방지할 수 있다.

이런 학습 시스템을 구축할 때 모델 자체를 다시 학습시키는 무거운 작업은 필요 없다. 대신 모델을 둘러싼 생태계를 개선해 에이전트의 행동을 교정한다. 지식 베이스(정보 저장소)와 검색 레이어(필요한 정보를 찾아내는 단계)를 통해 정확한 정보를 제공하고, 프롬프트(명령어)와 정책, 가드레일(행동 제한선)로 행동 지침을 명확히 한다. 여기에 라우팅 로직(업무 배분 경로)과 워크플로우(작업 순서)를 최적화해 에이전트가 움직이는 경로를 설계한다. 모델은 그대로 유지하면서도 모델 주변의 학습 시스템이 똑똑해지면 전체적인 성능은 향상된다. 모델 재학습 비용을 들이지 않고 현장 피드백만으로 에이전트의 정확도를 높이는 아키텍처 설계가 기업의 실질적인 차별점이 된다.

AI가 어제 틀린 답을 오늘 또 내놓는 이유는 모델의 지능이 낮아서가 아니라 조직의 경험을 저장할 그릇이 없기 때문이다. 메모리와 지식 베이스, 흩어진 운영 신호를 연결하는 데이터 패브릭과 이를 감시하는 관찰 가능성, 컨트롤 플레인이 유기적으로 연결될 때 비로소 개별 직원의 노하우가 기업의 자산으로 변한다.

이제 에이전트의 경쟁력은 모델의 성능이 아니라 현장의 피드백을 지식화하는 시스템 구축 여부로 결정된다. 모델 재학습이라는 비용 효율 낮은 길 대신, 실시간 피드백만으로 정확도를 높이는 아키텍처를 갖췄는지 점검하는 것이 핵심이다.