Lucene 코어 기여와 로컬 AI 워크스페이스 Maek의 등장

최근 오픈소스 검색 라이브러리인 Apache Lucene(아파치 루신) 10.5.0 코어에 새로운 검색 기능이 공식 포함됐다. 검색 및 AI 메모리 인프라를 개발하는 팀 cognica가 제안한 BB25(Bayesian BM25) 기반의 확률적 하이브리드 검색(probabilistic hybrid search) 작업이 반영된 것이다. 구체적으로는 BayesianScoreQuery와 LogOddsFusionQuery가 코어에 추가되며 검색 정밀도를 높이는 기술적 토대를 마련했다.

cognica 팀은 이 검색 인프라 기술을 실제 사용자가 체감할 수 있는 제품으로 구현했다. 그 결과물이 바로 macOS용 AI 앱 'Maek'이다. Apple Silicon Mac 환경을 중심으로 테스트 중인 Maek은 단순한 챗봇 인터페이스가 아니라 'AI 메모리 워크스페이스(AI Memory Workspace)'를 지향한다. 사용자의 대화 기록과 문서를 로컬에 저장하고, 이를 AI가 필요할 때마다 꺼내 쓸 수 있도록 돕는 독립적인 도구다.

컨텍스트 확장 경쟁 대신 '기억의 재구성'을 선택한 이유

현재 AI 시장의 주된 흐름은 컨텍스트 윈도우(AI가 한 번에 처리할 수 있는 데이터 양)를 무작정 늘리는 방향으로 흐르고 있다. 하지만 cognica 팀은 단순히 이전 대화 텍스트를 모두 프롬프트에 밀어 넣는 방식이 비용 증가와 노이즈 발생, 그리고 정작 중요한 과거 맥락의 유실이라는 한계를 가진다고 분석했다. Maek은 여기서 '확장'이 아닌 '재구성(Reconstruct)'이라는 접근법을 택했다.

Maek은 질문이 들어올 때마다 네 가지 서로 다른 신호를 조합해 최적의 컨텍스트를 만든다. 일반 채팅 기록인 'Messages', 파일을 청크 단위로 저장한 'Document Chunks', 인물과 사건의 관계를 정리한 'Graph', 그리고 현재 상황을 압축한 'Conversation State'가 그것이다.

특히 주목할 점은 이 서로 다른 성격의 데이터들을 조합하는 방식이다. BM25(전통적인 키워드 검색 알고리즘), 벡터 유사도, 그래프, 최신성(Recency)은 각각 점수 체계가 달라 단순 합산 시 특정 신호가 답변을 지배하는 문제가 발생한다. Maek은 Lucene 코어에 BB25를 기여하며 확보한 노하우를 바탕으로, 이 신호들을 '증거(Evidence)'로 보고 정교하게 조합하는 하이브리드 검색 방식을 채택했다. 이는 무조건 많은 데이터를 넣는 것보다, 질문에 가장 적합한 근거만을 정밀하게 추출해 전달하는 것이 효율적이라는 판단에 근거한다.

로컬 데이터 제어권과 검증 가능성이 만드는 실무적 차이

실무 관점에서 Maek이 제시하는 가장 큰 차별점은 '검증 가능성(Inspectability)'과 '데이터 주권'이다. 기존의 ChatGPT Memory 같은 기능이 서비스 제공자가 관리하는 종속적인 개인화 기능이라면, Maek은 사용자가 자신의 자산을 로컬 작업공간에 쌓아두고 제어하는 독립 도구의 성격을 띤다.

사용자는 AI가 답변을 내놓았을 때, 어떤 메시지와 문서 청크, 어떤 그래프 정보가 컨텍스트에 포함되었는지 시각적으로 확인할 수 있다. 이는 AI가 "기억하고 답변했다"는 주장만 믿는 것이 아니라, 왜 이 내용을 기억했는지 혹은 왜 특정 정보를 찾지 못했는지 디버깅할 수 있게 한다. AI의 답변 근거를 투명하게 공개함으로써 사용자가 직접 기억을 교정하고 신뢰도를 판단할 수 있는 구조를 만든 것이다.

데이터 흐름의 투명성 또한 구체적으로 설계됐다. 로컬 모델을 사용할 때는 추론까지 완전히 오프라인으로 유지된다. OpenAI나 Claude 같은 클라우드 모델을 연동할 경우에는 현재의 입력값과 검색된 로컬 컨텍스트만이 API로 전송된다. 이러한 데이터 흐름을 UI와 문서에서 명확히 구분하여, 보안에 민감한 기업이나 개발자가 로컬-클라우드 하이브리드 환경에서 어떤 데이터가 외부로 나가는지 명확히 인지하고 사용할 수 있도록 했다.