총 16,893회의 실행을 통해 코딩 에이전트의 도구 선택
총 16,893회의 실행 데이터는 코딩 에이전트가 도구를 선택하는 구체적인 패턴을 드러낸다. 분석팀은 51개의 코드베이스와 18개 섹터에서 추출한 5,292개의 유효 세션을 1차 분석 대상으로 선정했다. 51개의 코드베이스와 18개 섹터라는 다양한 환경을 설정해 분석 대상의 범위를 넓혔다. 전체 실행 횟수 중 실제 출판이 가능하고 유효하다고 판단된 세션만을 엄선해 데이터의 신뢰성을 확보했으며, 이를 통해 에이전트의 도구 선택 방식을 정밀하게 분석했다.
현실적인 상호작용 시나리오를 구축하기 위해 Gemini 3.7 Flash를 시뮬레이션된 인간으로 활용했다. 오케스트레이터(Orchestrator, 전체 흐름을 제어하는 관리자) 역할을 수행하는 Gemini 3.7 Flash가 에이전트에게 코드베이스 분석 및 최적의 솔루션 추천을 요청하는 구조를 설계했다. 에이전트가 도출한 추천안 중 최선의 솔루션을 최종 선택하거나 구체적인 구현을 지시하는 과정을 통해 실제 개발 환경의 의사결정 체계를 재현했다. 이는 에이전트가 단독으로 작동하는 환경이 아닌, 인간의 개입이 포함된 루프(Loop) 내에서 어떻게 반응하는지 확인하기 위한 장치다.
실험의 객관성을 위해 E2B, Blaxel, Daytona 등
전용 임시 샌드박스(ephemeral sandbox, 일회성 실행 환경)에서 모든 실험을 개별적으로 수행했다. E2B, Blaxel, Daytona 등 3가지 샌드박스 제공업체를 교대로 사용해 환경에 따른 변수를 차단했다. 샌드박스 선택이 분석 결론에 영향을 미치지 않는다는 점을 검증했으나, 데이터의 신뢰도를 극대화하기 위해 제공업체를 순환시키는 방식을 택했다. 각 실험은 독립된 전용 환경에서 실행되었으며, 이는 실행 환경의 특성이 모델 성능 수치에 개입할 가능성을 배제하고 실험의 객관성을 확보하기 위한 장치다.
분석에 투입된 모든 트레이스(traces, 모델의 실행 경로 기록)와 결과 데이터를 외부에 공개했다. 핵심 학습 내용과 전체 트레이스를 리더보드 형태로 제공해 제3자가 동일한 분석을 수행할 수 있도록 구성했다. 분석 결과와 학습 내용, 그리고 전체 실행 경로를 모두 노출해 외부에서도 동일한 검증이 가능하도록 설계했다. 리더보드에 공개된 데이터를 활용하면 외부 분석가들이 동일한 조건에서 실험을 재현하고 결과를 대조함으로써 분석의 투명성을 확인할 수 있다. 공개된 데이터 세트는 분석 결과의 재현성을 보장하는 실질적인 근거가 된다.
인간 개입(human-in-the-loop) 설정이 클라우드
10개 언어로 구성된 75개의 가상 리포지토리를 구축해 실험 환경을 조성했다. 가짜 회사 이름과 가짜 git 기록, 가짜 API 키를 배치하고 npm(노드 패키지 매니저)과 같은 패키지 매니저 레지스트리에서 확인된 실제 lockfile을 적용해 현실성을 높였다. 실제 개발 현장의 구성 요소를 그대로 재현해 에이전트가 도구를 선택하는 과정에서 발생하는 편향성을 측정했다.
인간 개입(human-in-the-loop) 설정은 클라우드 플랫폼 네이티브 솔루션의 지배력을 낮추는 효과를 보였다. 인간의 개입이 배제된 상태에서 에이전트는 인하우스 구축 방식으로 편향되는 경향을 보였으나, 개입 후에는 더 현실적인 선택지가 나타났다. 객체 스토리지 실험의 경우, 이전까지는 항상 Amazon S3만 선택하던 에이전트가 Cloudflare R2를 선택하는 결과로 이어졌다.
16,893회 실행 중 5,292개 세션의 유효 데이터를 기반으로 판단할 때, 에이전트의 도구 선택 편향을 줄이기 위해 분석, 추천, 구현의 3단계 워크플로우를 적용하는 것이 가장 합리적인 도구 선택을 유도하는 기준이 된다.
