태국 홍수로 부품 공급이 중단되었다는 뉴스 리포트가 공급망 관리 팀의 모니터에 실시간으로 뜬다. 하지만 기존 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 시스템은 이 뉴스가 구체적으로 어떤 공장의 생산 차질로 이어질지 답하지 못한다. 뉴스라는 비정형 데이터와 공급망이라는 정형 데이터 사이의 연결 고리를 찾지 못했기 때문이다.
일반적인 벡터 검색은 단어의 의미적 유사성만 쫓을 뿐, 구체적인 연결 고리는 놓친다. '홍수'와 '리스크'라는 단어의 거리는 좁히지만, '공급사 A'가 '공장 Y'에 부품을 납품한다는 구조적 사실은 무시한다. 결과적으로 LLM(Large Language Model, 거대언어모델)은 데이터가 시스템 내에 존재함에도 불구하고 관계를 추측하거나 모른다고 답하는 환각 현상을 보인다.
결국 데이터 간의 '관계'라는 지형을 읽어내지 못하면 단순한 유사성만으로는 문제를 풀 수 없다.
Neo4j와 OpenAI 기반의 하이브리드 RAG 아키텍처
하이브리드 아키텍처는 벡터 검색의 유연성과 그래프 DB의 결정론적 구조를 결합해 3계층 스택을 구축한다. 기존의 벡터 RAG가 문서를 조각내어 유사도를 측정하며 구조적 관계를 소거했다면, 이 방식은 이를 보완한다. 첫 번째 단계인 인제스션(Ingestion, 데이터 수집)에서는 LLM이나 NER(Named Entity Recognition, 개체명 인식) 모델을 활용한다. 비정형 텍스트에서 핵심 엔티티를 노드로 추출하고 이들 사이의 논리적 관계를 엣지로 정의하는 과정이다. 이는 단순한 텍스트 뭉치를 비즈니스 로직이 반영된 지식 그래프로 변환하는 작업이다.
Neo4j(네오포제이, 그래프 데이터베이스) 저장소 계층에서는 노드의 속성값으로 벡터 임베딩을 함께 저장하는 하이브리드 방식을 사용한다. 벡터 DB가 단어의 의미론적 유사성을 포착한다면 그래프 DB는 데이터의 위계와 의존성이라는 토폴로지를 보존한다. 기업 데이터의 복잡한 연결망을 평면적으로 펼치지 않고 입체적으로 유지하려는 전략적 포석이다. 이를 통해 데이터 간의 소유권이나 계층 구조가 소실되는 문제를 원천적으로 차단한다.
리트리벌(Retrieval, 정보 검색) 과정은 벡터 스캔으로 진입점을 찾고 그래프 트래버설(Graph Traversal, 그래프 탐색)로 컨텍스트를 수집하는 하이브리드 쿼리로 작동한다. 먼저 벡터 스캔을 통해 질문과 가장 유사한 의미를 가진 그래프 내의 진입점을 빠르게 탐색한다. 이후 해당 진입점으로부터 연결된 노드와 엣지를 따라 정답에 이르는 경로를 확보한다. 이는 단순한 유사도 기반의 top-k 추출 방식이 아니라 관계망을 직접 추적하는 방식이다. 다단계 추론이 필요한 복잡한 질문에서도 정확한 맥락을 유지할 수 있는 이유다.
Python과 Neo4j, OpenAI를 기반으로 구현된 이 시스템은 LLM에 파편화된 텍스트 조각이 아닌 정제된 구조적 페이로드를 전달한다. 최종적으로 생성되는 출력 데이터의 예시는 다음과 같다.
[{'issue': 'Severe flooding...', 'impacted_supplier': 'TechChip Inc', 'risk_to_factory': 'Assembly Plant Alpha'}]이러한 구조적 데이터 전달 덕분에 LLM이 관계를 임의로 추측하여 발생하는 환각 현상이 억제된다. 시스템은 비즈니스 데이터의 구조적 진실을 기반으로 결정론적인 답변을 도출하는 지형을 완성한다.
벡터 RAG의 50ms와 그래프 RAG의 500ms 사이의 트레이드오프
벡터 전용 RAG(검색 증강 생성)가 50~100ms의 검색 시간을 기록할 때, 그래프 강화 RAG는 약 200~500ms가 소요된다. 홉(Hop, 노드 간 연결 단계) 깊이에 따라 지연 시간이 가변적으로 늘어나는 구조다. 단순한 유사도 검색과 복잡한 관계 추적이라는 연산 방식의 차이가 이 정도의 속도 격차를 만든다. 기업 입장에서는 응답 속도라는 사용자 경험과 추론 정확도라는 비즈니스 가치 사이에서 선택을 강요받는 지점이다.
시맨틱 캐싱(Semantic Caching, 의미론적 캐싱) 전략을 도입해 코사인 유사도 0.85를 초과하는 질의는 그래프 연산을 생략하고 캐시된 결과를 즉시 제공한다. 이는 반복되는 핵심 질의에 대해 그래프 연산 비용을 제거하는 전략적 포석이다. 고비용의 그래프 탐색을 매번 수행하지 않고도 실시간성에 가까운 응답 속도를 유지하며 추론의 정밀도를 확보하려는 계산이다.
데이터 독립적 구조인 벡터 DB와 달리, 그래프 DB는 노드와 엣지로 연결된 관계 자체가 정보의 핵심인 의존적 구조를 가진다. 개별 데이터 조각들이 서로 영향을 주지 않는 벡터 DB와는 대조적이다. 만약 실제 비즈니스 관계가 변했는데 그래프의 연결선이 그대로 남아 있다면 시스템은 확신을 가지고 잘못된 관계를 출력하는 환각 현상을 일으킨다.
ERP(Enterprise Resource Planning, 전사적 자원 관리) 시스템의 CDC(Change Data Capture, 변경 데이터 캡처) 파이프라인을 구축해 실시간 동기화를 구현해야 데이터 정합성이 유지된다. 데이터 유효 기간을 설정하는 TTL(Time-To-Live) 방식을 적용하는 것도 방법이다. 원천 데이터의 변경 사항이 즉각적으로 그래프 구조에 반영되어야만 구조적 진실을 보장할 수 있다. 이는 단순한 DB 관리를 넘어 기업의 전사적 데이터 흐름을 재설계하는 인프라 작업이다.
200ms 미만의 극단적인 저지연이 필요한 서비스는 벡터 RAG가 효율적이지만, 다단계 관계 추론이 필수적인 도메인은 그래프 RAG의 비용을 감당해야 한다. 단순한 지식 검색인지, 아니면 정교한 추론이 필요한지에 따라 비용 구조를 다르게 설계해야 한다. 인프라를 지식 그래프로 전환하는 것은 LLM이 환각 없이 기업의 구조적 진실을 읽게 만드는 유일한 방법이다.
규제 산업과 멀티홉 추론이 결정하는 도입 기준
벡터 전용 RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 검색 시간이 200ms 미만으로 짧아 사내 위키나 슬랙(Slack) 같은 환경에 최적화되어 있다. 질문의 범위가 넓고 단순한 의미 검색이 주를 이루는 경우 벡터 DB는 가장 효율적인 선택지다. 데이터가 평면적일수록 기술 스택은 가벼워지며 도입 속도는 빨라진다.
금융이나 의료 같은 규제 산업은 단순한 유사도 검색보다 정교한 추론 경로 확보를 우선시한다. 특정 리스크가 간접 자회사나 하위 공급망에 미치는 영향처럼 여러 단계를 거쳐야 하는 멀티홉(Multi-hop) 추론이 필수적이기 때문이다. 규제 산업은 답변의 결과뿐 아니라 그 결과에 도달하기까지의 탐색 경로를 명확히 제시하는 설명 가능성을 법적, 제도적으로 요구한다. 그래프 강화 RAG는 이러한 규제 환경에서 신뢰성을 담보하는 전략적 포석이 된다.
그래프 DB(Graph Database)가 엔티티 간 관계를 명시적인 엣지(Edge)로 정의함으로써 LLM의 확률적 추측에 의한 환각이 원천 차단된다. 일반적인 LLM은 데이터 사이의 관계를 임의로 생성하는 경향이 있지만, 그래프 DB는 비즈니스의 실제 연결 구조를 강제하는 장치가 된다. 구조적 진실이 확보된 시스템은 단순한 정보 제공 도구를 넘어 기업의 리스크 관리와 의사결정 체계의 핵심 인프라로 격상된다.
그래프 탐색은 홉의 깊이에 따라 응답 시간이 200ms에서 500ms까지 늘어나는 연산 비용의 부담이 있다. 기업들은 이 비용을 상쇄하기 위해 시맨틱 캐싱(Semantic Caching) 기술을 병행한다. 유사한 질문에 대해 미리 계산된 그래프 경로 결과를 제공함으로써 사용자 경험의 저하를 막는 방식이다. 결국 기술 스택의 선택 기준은 단순한 성능 비교가 아니라 데이터의 위상과 비즈니스 리스크의 크기에 따라 결정된다.
