매일 수많은 고객 문의를 처리하는 기업용 챗봇은 단순히 질문에 답하는 수준을 넘어, 조직의 맥락을 이해하고 기억해야 하는 과제에 직면해 있다. 최근 TrendMicro는 자사 챗봇인 Trend’s Companion의 서비스 품질을 높이기 위해 Amazon Bedrock(생성형 AI 모델을 쉽게 활용하게 해주는 서비스)을 기반으로 한 기업용 기억 시스템을 구축했다. 이 시스템은 파편화된 대화 이력을 통합하고, 조직 내부의 방대한 지식을 실시간으로 참조하여 개인화된 응답을 제공하는 데 초점을 맞춘다.

기업용 기억을 위한 기술 스택과 아키텍처

TrendMicro가 구현한 시스템은 Amazon Neptune(복잡한 관계 데이터를 저장하는 그래프 데이터베이스)과 Mem0(AI 모델에 장기 기억을 부여하는 메모리 관리 계층)을 핵심으로 한다. Amazon Bedrock은 전체 워크플로우를 조율하며, Claude(Anthropic의 대규모 언어 모델)를 통해 사용자 메시지에서 엔티티와 관계를 추출한다. 추출된 데이터는 Amazon Bedrock Titan Text Embed(텍스트를 벡터로 변환하는 모델)를 거쳐 Amazon OpenSearch Service(검색 및 분석 엔진)와 Amazon Neptune에 저장된다. 이 구조는 비정형 대화 데이터와 정형화된 지식 그래프를 동시에 활용할 수 있는 환경을 제공한다.

지식 그래프와 벡터 검색의 결합

예전에는 챗봇이 단순히 문맥을 훑어보는 방식에 의존했다면, 이제는 구조화된 데이터와 의미론적 검색을 병행하는 방식으로 진화했다. 사용자가 질문을 던지면 시스템은 OpenSearch의 벡터 검색을 통해 유연한 답변을 찾고, 동시에 Neptune의 지식 그래프에서 정확한 엔티티 관계를 추출한다. 이후 Amazon Bedrock Rerank(검색 결과의 우선순위를 재조정하는 모델)를 통해 가장 적합한 정보를 선별하여 LLM의 컨텍스트 윈도우에 주입한다. 예를 들어 쿠빌라이 칸에 대한 질문을 받을 때, 단순 검색은 모호한 답변을 내놓지만 지식 그래프를 참조하면 특정 집단과의 관계를 명확히 짚어내는 식이다.

인간 개입 루프를 통한 신뢰성 확보

개발자가 바로 체감하는 변화는 AI가 생성한 기억을 검증하는 프로세스에 있다. 시스템은 응답을 생성할 때마다 어떤 기억을 참조했는지 매핑 보고서를 작성하며, 사용자는 이 매핑을 승인하거나 거부할 수 있다. 승인된 정보만 지식 베이스에 영구적으로 남고, 거부된 정보는 즉시 삭제된다. 이러한 인간 개입 루프(Human-in-the-loop)는 AI의 환각 현상을 억제하고, 기업이 원하는 방향으로 지식 베이스를 지속적으로 정교화할 수 있게 돕는다. 구현에 필요한 상세 코드와 아키텍처는 GitHub 샘플 저장소에서 확인할 수 있으며, 기술적 세부 사항은 Amazon Neptune 문서를 참조하면 된다.

기업용 AI의 경쟁력은 이제 모델의 크기가 아니라, 조직의 고유한 맥락을 얼마나 정확하고 안전하게 기억하느냐에 따라 결정된다.