한 개발팀이 한국 법령과 판례를 자연어로 묻는 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 챗봇인 Lemini를 공개했다. 이 챗봇은 사용자의 질문 성격에 따라 '대화형 사실관계 수렴'과 '전문 문서 분석'이라는 두 가지 모드로 동작하며, 법률 도메인 특유의 정보 부족 문제와 단일 프롬프트의 한계를 해결하려 한다.

법률 상담의 핵심은 사용자가 자신의 상황을 얼마나 정확하게 서술하느냐와, 입력된 문서가 어떤 제도적 프레임 위에 놓여 있는지를 파악하는 것이다. 하지만 일반적인 RAG 시스템은 사용자가 사실관계를 부족하게 입력하면 일반론적인 답변만 내놓고, 복잡한 계약서를 검토하라고 요청하면 단순한 표준 체크리스트만을 출력하는 경향이 있다. Lemini는 이러한 간극을 메우기 위해 질문의 '결'을 나누어 서로 다른 파이프라인을 태우는 전략을 취했다.

Lemini의 듀얼 모드 설계와 3종 데이터 파이프라인

법률 상담의 진입점은 사용자가 상황을 설명하는 방식에 따라 극명하게 갈린다. Lemini(법률 RAG 챗봇)는 이를 해결하기 위해 질문의 성격에 따라 경로를 분리하는 듀얼 모드 설계를 채택했다. 먼저 Ouroboros(우로보로스) 모드는 사용자가 제공한 사실관계가 충분한지를 모델이 스스로 판단하는 구조다. 정보가 부족하다고 판단되면 모델이 임의로 추론하는 대신 객관식 후속 질문을 던져 사용자가 놓친 사실관계를 수렴시킨다. 이후 RAG(검색 증강 생성)를 거쳐 유리하거나 주의해야 할 사실, 구체적인 행동 플랜, 시효와 같은 기한 경고, 관련 판례를 포함한 구조화 분석을 수행한다. 마지막 단계에서는 검색 결과에 실제로 존재하지 않는 인용을 제거하는 검증 루프를 가동하여 법률 서비스의 치명적인 약점인 가짜 조문 생성을 방지한다.

문서 검토가 중심이 되는 전문 분석 모드는 단일 프롬프트의 한계를 극복하기 위해 6단계 체인으로 동작한다. 입력된 문서의 성격을 파악하고 섹션을 요약하는 전체 스캔을 시작으로, 해당 문서가 근거하고 있는 외부 제도 프레임을 매핑하는 단계가 이어진다. 이후 제도 축별 RAG와 조항 단위의 세부 검토를 수행하며, 목적과 수단의 정합성, 제도적 측면의 검토, 잠재적 리스크 시나리오를 분석하는 3개의 병렬 체인을 동시에 가동하여 다각도의 분석 결과를 도출한다. 최종적으로 판단형 질문이 입력되었을 때만 Verdict(판단형 결론)를 내리는 구조다. 특히 외부 제도 프레임을 먼저 선언하고 분석에 들어가는 설계는 단순한 텍스트 요약을 넘어 제도적 맥락에서의 정밀한 검토를 가능하게 한다.

이러한 추론 경로를 뒷받침하는 것은 법령, 판례, 자율규약을 동일한 벡터 공간에 적재한 3종 데이터 풀이다. 자율규약에는 공정거래위원회 표준약관과 협회 규약, KISA(한국인터넷진흥원) 및 개인정보보호위원회의 가이드라인이 포함되어 실무적인 규제 대응이 가능하도록 설계되었다. 데이터의 최신성을 유지하기 위해 법령은 DRF(Digital Law Resource Framework, 디지털 법률 리소스 프레임워크) API를 통해 주 1회 자동 갱신하며, 판례는 국가법령정보 공동활용 API와 온디맨드 캐시를 활용해 효율적으로 관리한다. Lemini의 설계 방향은 LLM의 일반적인 추론 능력에 의존하는 그럴듯한 답변이 아니라, 검색 결과와 대조하여 근거가 검증된 구조화된 답을 도출하는 데 집중되어 있다.

단일 프롬프트를 넘어선 '6체인 분석'과 인용 검증 루프

단일 프롬프트에 "문서를 검토해달라"고 요청하면 LLM은 대개 일반적인 표준 체크리스트를 나열하는 수준에 그친다. Lemini는 이를 해결하기 위해 전문 분석 과정을 6개의 체인으로 분리하는 구조를 채택했다. 전체 스캔을 통해 문서 성격을 파악한 뒤, 외부 제도 프레임 매핑(해당 문서가 근거하고 있는 법적·제도적 틀을 먼저 정의하는 단계) 단계를 독립적으로 수행한다. 이 단계에서 이 문서가 기대고 있는 제도를 먼저 선언하고, 이후 그 제도 축에 맞춰 법령과 판례를 검색하는 RAG(검색 증강 생성, 외부 데이터를 참조해 답변하는 기술)를 호출한다. 조항 단위 검토와 목적-수단 정합성, 리스크 시나리오를 분석하는 병렬 체인을 거쳐 최종 판단형 verdict를 도출하는 흐름이다. 이러한 다단계 구조는 모델이 임의로 판단하는 범위를 제한하고, 분석의 기준점을 외부 제도라는 객관적 지표에 고정하는 효과를 낸다.

법률 도메인에서 가장 치명적인 문제는 존재하지 않는 조문을 그럴듯하게 만들어내는 환각 현상이다. 이를 제어하기 위해 도입된 인용 검증 루프는 LLM이 생성한 최종 응답 속 인용구를 실제 검색 hit 결과와 일일이 대조하는 프로세스를 갖는다. 검색 결과에 존재하지 않는 가짜 조문이나 잘못된 인용이 발견되면 이를 응답에서 즉시 제거하여 사용자에게 전달되는 정보의 신뢰도를 강제한다. 검색의 정밀도를 높이기 위해 적용된 3축 임베딩 매트릭스(데이터를 벡터 공간에 배치해 유사도를 측정하는 방식) 역시 핵심적인 장치다. 단순한 벡터(Vector) 기반의 의미 검색만으로는 법률 용어의 엄격함을 담아내기 어렵기에, 어휘(Lexical) 검색과 정확 일치(Exact) 검색을 동시에 수행하는 하이브리드 방식을 사용하여 검색 정밀도를 극대화했다.

전체 시스템의 제어와 구조화된 데이터 출력에는 Gemini가 활용된다. 복잡한 멀티 체인 과정을 정교하게 관리하고 최종 결과물을 정해진 JSON 형식으로 출력함으로써 시스템 간 데이터 전달의 안정성을 확보했다. 코드 설계 측면에서는 도메인별로 복잡한 분기 로직을 짜는 대신 document_type이라는 단일 구분자로만 처리하도록 구현했다. 이는 특정 법률 분야에 종속되지 않고 다양한 문서 유형으로 확장할 수 있는 범용성을 확보하기 위한 설계 전략으로 관찰된다. 프롬프트 역시 답 도출을 위한 정보를 직접 제공하기보다 질문에 맞는 최적의 답변을 스스로 도출하도록 설계하여 범용성을 최우선 과제로 두었다. 결과적으로 Lemini의 설계는 단순한 프롬프트 엔지니어링이 아니라, 데이터 검색-검증-출력의 전 과정을 파이프라인화하여 제어권을 확보하는 방향으로 구현되었다.

도메인 특화 RAG의 실무적 구현: 구조화된 답변과 프라이버시 전략

FastAPI(파이썬 기반 웹 프레임워크)와 Cloud Run(구글 클라우드 서버리스 플랫폼)을 조합한 백엔드 구조는 빠른 배포와 유연한 확장을 가능하게 한다. 프론트엔드는 Next.js(리액트 프레임워크)를 채택했으며, 데이터 관리는 SQLite(경량 관계형 데이터베이스)를 통해 효율성을 높였다. 이러한 스택 구성은 복잡한 인프라 관리보다 RAG(검색 증강 생성) 파이프라인의 정교함을 다듬는 데 자원을 집중하려는 의도로 관찰된다. 서버리스 환경을 통해 트래픽 변동에 즉각 대응하면서도 운영 비용을 최소화하는 선택은 초기 단계의 전문 도구가 시장의 피드백을 빠르게 수렴하기 위한 전략적 판단으로 보인다. 이는 개발자가 인프라 설정보다 도메인 로직 구현에 더 많은 시간을 할애할 수 있는 환경을 제공하며, 결과적으로 제품의 반복 주기(Iteration cycle)를 단축시키는 효과를 낸다.

프라이버시 설계는 데이터 최소화 원칙을 극단적으로 적용하여 보안 리스크를 낮춘 형태를 띤다. 별도의 회원가입이나 로그인 절차를 완전히 배제했으며, 대화 내역을 서버 데이터베이스에 저장하지 않고 브라우저의 localStorage(웹 브라우저 내 로컬 저장소)에만 보관하는 stateless(상태 비저장) 구조를 채택했다. 사용자 IP 주소 역시 rate limit(요청 횟수 제한)을 위한 in-memory(메모리 내 일시 저장) 방식으로만 처리하여 개인정보가 서버에 영구적으로 남지 않도록 설계했다. 이러한 구조는 민감한 법률 정보를 다루는 도구에서 사용자가 느낄 수 있는 심리적 진입장벽을 낮추는 동시에, 관리자 입장에서의 데이터 관리 부담과 법적 책임 소재를 기술적으로 분리하는 효과를 가져온다. 이는 서버 측의 저장소 의존성을 제거함으로써 수평적 확장을 용이하게 만드는 아키텍처적 이점까지 확보한 설계로 분석된다.

서비스의 정체성을 법률 자문이 아닌 정보 검색 및 분석 도구로 명시한 점은 변호사법 등 법적 리스크를 관리하기 위한 실무적 장치로 해석된다. 특히 모델 자체의 추론력에 의존해 그럴듯한 답변을 생성하는 기존의 생성형 AI 방식에서 벗어나, 근거가 검증된 구조화된 답을 도출하는 파이프라인 구축에 집중한 점이 차별화 지점이다. 검색 결과와 대조하여 존재하지 않는 인용을 제거하는 검증 루프를 통해 할루시네이션(환각 현상)을 억제하고, 사용자에게는 단순한 텍스트가 아닌 분석된 구조를 제공한다. 이러한 설계는 고신뢰도가 요구되는 전문직 AI 도구가 단순한 인터페이스의 변화를 넘어, 데이터의 출처와 검증 가능성을 최우선으로 하는 신뢰 기반의 아키텍처로 전환되어야 함을 시사한다. 결국 실무자가 체감하는 가치는 모델의 지능보다 답변의 근거를 얼마나 빠르게 확인하고 검증할 수 있느냐는 제어권의 확보에서 결정된다.