발표에서 확인된 핵심 사실

8명의 전문 AI 에이전트가 하나의 일관된 목소리를 내는 구조를 통해 하버드 MBA 수준의 지식을 갖춘 시니어 어드바이저 시스템이 구현됐다. 기업은 이를 통해 특정 비즈니스 환경에 맞춘 맞춤형 경영 자문을 받을 수 있다. 전문 지식의 파편화를 막고 통합된 의사결정 지원 체계를 구축한 결과다.

sentelabs.ai가 개발한 Open Executive(기업용 가상 경영진 시스템)는 전문 에이전트들의 협업을 기반으로 작동한다. 각 에이전트가 보유한 전문성을 결합해 단일한 경영진의 관점에서 답변을 도출한다. 비즈니스 특성에 따라 시스템 설정을 최적화할 수 있다.

시스템 운영을 위한 API는 단일 인스턴스로만 실행해야 한다. 스케줄러가 `UPDATE … RETURNING` 구문을 통해 작업을 점유하는 메커니즘을 사용하기 때문이다. 수평 확장 시 게이팅 처리가 없으면 동일한 작업이 중복 실행되는 문제가 발생한다.

`fly.api.toml` 및 `fly.api.qa.toml` 설정 파일에는 `max_machines_running = 1` 제약이 명시되어 있다. 이 설정값은 스케줄러의 중복 실행을 방지하는 핵심 장치다. 사용자가 이 값을 임의로 오버라이드할 경우 스케줄링된 액션이 이중으로 실행된다.

모델을 사용하여 과거의 결정과 이니셔티브를 기억하는 에피소드

모든 응답이 완료된 후 백그라운드에서 핵심 결정과 조언, 이니셔티브를 추출해 SQLite(관계형 데이터베이스 관리 시스템)에 저장하는 에피소드 기억 기능을 구현했다. 이 추출 작업에는 claude-haiku-4-5 모델이 사용되어 대화 내용 중 핵심적인 의사결정 사항만을 정제한다. 이렇게 저장된 정보는 다음 세션이 시작될 때 `<past_decisions>` 블록 형태로 모델에 다시 전달된다. 경영진 모델이 지난달에 제안한 추천 내용과 결정 사항을 기억하게 하여 의사결정의 연속성과 일관성을 확보하는 장치다.

Anthropic API 외에도 Ollama(로컬 LLM 실행 도구), vLLM(고성능 LLM 추론 엔진), LM Studio, llama.cpp 등 OpenAI 호환 로컬 서버를 통해 Open Executive를 구동할 수 있다. OpenRouter(다양한 AI 모델 통합 라우팅 서비스)를 이용해 외부 모델을 라우팅하는 설정도 함께 지원한다. 특히 경영진 역할은 Claude를 그대로 사용하고 개별 전문 에이전트만 로컬 모델로 전환하는 하이브리드 구성이 가능하다. 에이전트별로 모델을 개별 지정해 운영함으로써 시스템 전체의 자원 효율성과 응답 성능을 유연하게 조정할 수 있다.

확인해야 할 핵심 지점

최대 85%의 캐시 적중률을 확보하려는 운영자는 시스템 프롬프트를 분리 설계해야 한다. 경영진 페르소나와 회사 프로필, 지식 인덱스를 각각 별도의 블록으로 캐싱하고 동적 콘텐츠는 캐시 블록에서 완전히 제외했다. 첫 몇 차례의 대화 턴을 거치면 높은 적중률이 유지되는 구조다. 정적 정보의 중복 계산을 막아 추론 비용과 지연 시간을 줄였다.

지식 관리는 두 가지 검색 레이어를 통해 수행된다. 시작 시 ChromaDB(벡터 데이터베이스)에 주입되는 git 추적 기반의 MBA 수준 마크다운 지식과 사용자가 업로드한 회사 문서 컬렉션을 활용한다. RAG(검색 증강 생성) 컨텍스트는 캐시된 시스템 프롬프트가 아닌 사용자 턴에 직접 주입된다. 범용 경영 지식과 개별 기업 데이터를 분리해 컨텍스트 오염을 방지한 설계다.

로컬 모델 운용 시 웹 검색과 프롬프트 캐싱이 제한되므로 라우팅 품질 확보를 위해 Llama 3.3 70B 또는 Qwen2.5 수준의 모델 사용을 권장한다.