"self-healing eval loop,"

Raindrop AI(AI 관측성 솔루션 스타트업)의 공동 창업자이자 CTO인 벤 하일락(Ben Hylak)이 강조한 핵심 기능이다. 그는 전직 애플과 스페이스X 엔지니어로서 에이전트 개발의 고질적인 디버깅 문제를 해결하기 위해 이 도구를 설계했다. 이제 AI 에이전트의 내부 추론 과정을 로컬 환경에서 완전히 통제하는 지형이 형성됐다.

Workshop의 로컬 텔레메트리 구조와 사양

Raindrop AI는 MIT 라이선스(누구나 자유롭게 수정하고 배포할 수 있는 소프트웨어 라이선스) 기반의 오픈소스 도구 Workshop을 출시했다. 이 도구는 로컬 데몬(백그라운드에서 계속 실행되는 프로그램)과 UI 형태로 작동하며 모든 토큰과 도구 호출, 결정 사항을 실시간으로 스트리밍한다. 데이터는 기본적으로 `localhost:5899`에서 호스팅되는 대시보드를 통해 확인하며 모든 기록은 단일 SQL(.db) 파일에 저장된다. 벤 하일락 CTO는 이 방식이 메모리 점유율을 낮게 유지하면서도 효율적인 데이터 관리를 가능하게 한다고 밝혔다.

설치는 한 줄의 셸 명령어로 가능하며 bash, zsh, fish 셸의 경로 설정을 자동화한다. 소스 빌드를 원하는 개발자는 GitHub 저장소에서 Bun(자바스크립트 실행 환경) 런타임을 통해 구축할 수 있다. 지원 운영체제는 macOS, Linux, Windows 전체를 아우른다. 이는 개발 환경의 파편화를 막고 즉각적인 도입을 가능케 하는 전략적 선택이다.

호환성 범위는 매우 넓다. TypeScript, Python, Rust, Go 언어를 지원하며 Vercel AI SDK(웹 프레임워크 Vercel의 AI 개발 도구), OpenAI, Anthropic, LangChain(LLM 애플리케이션 개발 프레임워크), LlamaIndex(데이터 연결 프레임워크), CrewAI(다중 에이전트 협업 프레임워크)와 통합된다. 또한 Claude Code, Cursor(AI 기반 코드 에디터), Devin(자율 코딩 에이전트), OpenCode와 같은 코딩 에이전트와도 연동된다. 기업 사용자가 데이터 주권을 유지하며 커뮤니티의 기여를 받을 수 있도록 오픈소스로 공개한 점이 특징이다.

외부 서버 전송에서 로컬 데이터 주권으로의 전환

예전에는 에이전트의 실행 경로를 추적하기 위해 외부 서버로 트레이스(실행 기록)를 전송하거나 폴링(주기적으로 상태를 확인하는 방식)하는 방식을 썼다. 이 과정에서 데이터 유출 우려라는 보안 리스크와 네트워크 지연이라는 성능 병목이 동시에 발생했다. Workshop은 모든 데이터를 로컬 .db 파일에 저장함으로써 이 지점을 완전히 끊어냈다. 개발자는 이제 외부 서버의 응답을 기다리지 않고 실시간 텔레메트리를 통해 에이전트의 사고 과정을 관찰한다.

개발자가 체감하는 가장 큰 변화는 self-healing eval loop의 작동 방식이다. 기존에는 에이전트가 실수하면 개발자가 로그를 보고 프롬프트를 수정하는 수동 루프였다. 이제는 Claude Code 같은 코딩 에이전트가 Workshop의 트레이스를 직접 읽고 코드베이스에 맞는 평가 지표(eval)를 작성하며 오류를 스스로 수정해 다시 실행하는 자율 루프가 가능해졌다. 이는 디버깅의 주체가 사람에서 AI 에이전트로 옮겨가는 포석이다.

실제 적용 사례를 보면 수의사 보조 에이전트가 필수 질문을 누락하는 상황이 발생했을 때 Workshop이 전체 궤적을 캡처한다. 이후 코딩 에이전트가 이 기록을 분석해 프롬프트의 논리 오류를 찾아내고 모든 검증 조건이 통과될 때까지 에이전트를 재실행시킨다. 개발자는 결과적으로 완성된 코드를 검토하기만 하면 된다. 이러한 흐름은 에이전트 개발의 생산성을 비약적으로 높이는 결과로 이어진다.

에이전트 개발의 병목이었던 관측성 문제를 로컬로 끌어내린 것은 단순한 도구 추가가 아니라 개발 파이프라인의 완전한 내재화다.