KEY POINT

- GraphEval은 LLM 응답을 지식 그래프(Knowledge Graph)로 변환하고 NLI 모델로 검증하여 환각의 발생 위치를 정확히 식별한다.

- 단일 성능 점수 대신 개별 트리플(Triple) 단위의 함의 여부를 판별함으로써 환각 탐지의 설명 가능성을 확보한다.

- 고신뢰 서비스 도입 전, 보조 LLM의 그래프 추출 비용과 NLI 모델의 추론 부하가 시스템 지연 시간에 미치는 영향을 검토해야 한다.

#Amazon #GraphEval #환각탐지 #지식그래프 #NLI #LLM평가

아마존 연구진이 제안한 환각 진단 프레임워크 GraphEval

아마존 연구진이 LLM이 생성한 응답에서 사실과 다르거나 무의미한 내용을 지어내는 환각(Hallucinations) 현상을 분석하기 위해 GraphEval 프레임워크를 제안했다. LLM의 환각은 주로 모델이 해당 사안에 대해 보유한 내부 지식이 부족할 때 발생하며, 이는 모델의 신뢰성을 저하시키는 핵심 원인이 된다. 기존의 성능 평가 방식은 정확도나 확신도와 같은 단일 점수(Single Score)를 제공하는 데 그쳐, 응답의 어느 지점에서 구체적으로 오류가 발생했는지 알 수 없는 한계가 있었다.

GraphEval은 단순한 수치 측정에서 벗어나 환각이 발생한 정확한 위치를 찾아내는 국소화(Localization)에 집중한다. 연구진은 텍스트 형태의 응답을 지식 그래프라는 정형 구조로 변환함으로써, 모델이 주장하는 개체 간의 관계를 명확히 분리하고 검증하는 방법론을 설계했다. 실무자는 이를 통해 모델의 전반적인 정답률이라는 모호한 지표 대신, 어떤 구체적인 사실 관계가 틀렸는지 식별하는 진단 기준으로 활용할 수 있다. 이는 모델의 지식 결손 지점을 정확히 짚어내어 수정 방향을 결정하는 근거가 된다.

보조 LLM을 통한 지식 그래프 및 트리플 추출 단계

GraphEval의 1단계 프로세스에서 보조 LLM이 LLM의 응답 텍스트를 입력받아 지식 그래프를 구축한다. 보조 LLM은 비정형 텍스트 문장을 주어, 서술어, 목적어로 구성된 최소 단위의 사실 관계인 트리플(Triple) 형태로 추출한다. 예를 들어 "GraphEval은 아마존 연구진이 제안했다"라는 문장은 [GraphEval, 제안됨, 아마존 연구진]이라는 트리플 구조로 변환된다. 이러한 구조화 과정은 긴 문장 속에 숨겨진 개별 사실들을 독립적인 검증 단위로 쪼개어 분석 정밀도를 높이는 역할을 수행한다.

연구진은 시뮬레이션 기반의 경량 예제를 통해 이 과정을 증명했으며, 의도적으로 환각이 포함된 트리플을 추가하여 검증 성능을 테스트했다. 보조 LLM이 생성한 지식 그래프는 이후 단계에서 NLI 모델이 대조할 수 있는 가설(Hypothesis)의 집합이 된다. 텍스트 전체를 한꺼번에 비교하는 대신 쪼개진 트리플 단위로 검증함으로써, 사용자는 응답 내의 어떤 연결 고리에서 환각이 시작되었는지 구체적으로 추적할 수 있다. 이 단계는 비정형 데이터를 정형 데이터로 변환하여 검증의 효율성을 극대화하는 핵심 공정이다.

Hugging Face NLI 모델 기반의 사실 관계 검증 단계

GraphEval의 2단계 프로세스에서 사전 학습된 NLI(Natural Language Inference, 자연어 추론) 모델이 추출된 각 트리플을 정답 컨텍스트와 대조한다. 연구진은 Hugging Face에서 공개된 NLI 모델을 사용하여 별도의 액세스 토큰 없이도 트리플과 정답 지식 베이스 간의 논리적 관계를 판별하도록 설계했다. NLI 모델은 정답 컨텍스트를 전제로 두고, 지식 그래프에서 추출된 개별 트리플을 가설로 설정하여 두 문장 사이의 함의(Entailment) 여부를 예측한다.

판정 기준은 NLI 모델이 해당 트리플에 대해 '함의'라고 예측했는지 여부에 따라 결정된다. 모델이 함의라고 예측한 트리플은 정답 컨텍스트에 근거한 사실로 인정되지만, 함의로 예측되지 않은 모든 트리플은 환각으로 라벨링된다. 예를 들어 응답에 "기업용 서버 팜이 필요하다"라는 내용이 포함되었으나 정답 컨텍스트에 해당 근거가 없다면, NLI 모델은 이를 함의가 아닌 것으로 판별하여 환각으로 분류한다. 이는 단순한 키워드 매칭이 아니라 논리적 추론을 통해 사실 여부를 결정하는 방식이다.

RAG 시스템의 벡터 데이터베이스 연동 및 실무 워크플로

실제 운영 환경에서 GraphEval은 RAG(Retrieval-Augmented Generation) 시스템의 벡터 데이터베이스와 연동하여 정답 컨텍스트를 확보한다. 시뮬레이션에서는 `source_context` 변수에 정답 데이터를 직접 저장했으나, 실무에서는 사용자의 질문에 따라 벡터 데이터베이스에서 검색된 관련 문서들이 검증의 기준점이 된다. 벡터 데이터베이스는 의미론적 유사도가 높은 문서를 빠르게 추출하여 NLI 모델이 대조할 수 있는 신뢰할 수 있는 근거 문서를 제공하는 역할을 수행한다.

실무자가 적용할 수 있는 2단계 진단 워크플로는 다음과 같다. 우선 [LLM 응답 생성 $ ightarrow$ 보조 LLM을 통한 지식 그래프(트리플) 추출] 과정을 거쳐 응답을 정형화한다. 이후 [NLI 모델 기반 정답 컨텍스트 비교 검증] 단계를 통해 각 트리플의 함의 여부를 판별하여 환각 지점을 식별한다. 이 워크플로는 거대 LLM을 로컬에서 직접 구동하며 검증할 때 발생하는 연산 부하를 피하기 위해, 특정 태스크에 최적화된 경량 NLI 모델을 배치함으로써 검증 속도를 높이고 자원 소모를 줄이는 구조를 가진다.

구현 제약 조건 및 고신뢰 서비스 도입 판단 기준

GraphEval의 구현 시 실무자는 보조 LLM의 호출 비용과 NLI 모델의 추론 시간에 따른 연산 부하를 반드시 고려해야 한다. 제시된 방법론은 시뮬레이션 기반의 경량 예제이며, 실제 대규모 환경에서 지식 그래프를 구축할 때 발생하는 구체적인 인프라 비용과 연산 부하는 확인되지 않았다. 따라서 모든 응답에 대해 전수 조사를 수행하기보다, 검증이 필수적인 핵심 데이터셋이나 고위험 응답에 대해 선별적으로 적용하는 전략이 필요하다.

결론적으로, 전체 응답의 정답률이라는 모호한 수치보다 어떤 구체적인 사실 관계가 틀렸는지 식별하는 것이 우선인 고신뢰 서비스에서만 이 진단 워크플로를 도입한다. 기업용 AI 서비스는 단 하나의 잘못된 정보가 비즈니스 리스크로 이어지므로, 단순 벤치마크 점수보다 트리플 단위의 국소적 환각 탐지 능력이 더 중요한 판단 기준이 된다. 실무자는 서비스의 허용 지연 시간과 비용 예산을 산정한 뒤, 특정 사실 관계의 왜곡을 잡아내야 하는 검증 단계에서 이 기법을 우선적으로 고려해야 한다.