발표에서 확인된 핵심 사실

Kilo Code 엔지니어들이 직접 코드를 읽거나 쓰는 시간이 전체의 1%에 불과한 환경에서 AI 에이전트 도입은 엔지니어링 생산성을 3배 증가시켰으나, 무분별한 프런티어 모델 사용으로 인한 비용 폭증 리스크를 동시에 가져왔다. 이는 개발 프로세스의 주도권이 인간에서 에이전트로 이동하며 비용 통제 방식의 전면적인 변화가 불가피해졌음을 보여준다.

Replit(리플릿, 클라우드 개발 플랫폼)은 'Human-on-the-loop' 구조를 도입해 AI 에이전트가 풀 리퀘스트(PR, 코드 변경 요청)의 위험도를 직접 평가하게 했다. 에이전트가 각 PR에 위험 점수를 부여하며, 저위험 PR은 작성자가 직접 병합하고 고위험 PR은 사람이 코드를 읽고 피드백을 주는 검토 과정을 거친다. 클라우드 가상 머신(VM)에서 구동되는 에이전트 군단이 엔드-투-엔드 계획부터 구현, 테스트까지 전 과정을 수행하며 개발 주기를 단축한다.

Symbotic(심보틱, AI 물류 자동화 기업)은 AI 비용 관리를 위해 직원별로 월간 비용 티어(cost tiers)를 설정하고 사용량을 모니터링한다. 관리자가 PR 및 사용 트렌드를 확인할 수 있는 도구를 구축하여, 데이터에 근거해 필요 시 사용자의 티어를 조정함으로써 비용을 효율적으로 통제하고 최적화한다. 이는 모델 사용량에 기반한 정밀한 모니터링으로 비용 누수를 막기 위한 실무적 제약 장치다.

기술이 실제로 작동하는 방식

기존 코드를 수정하거나 유지보수하는 작업은 새로운 코드베이스를 구축하는 것보다 난도가 높다. Symbotic의 Jared Go는 에이전트가 새로운 코드를 만드는 Greenfield 작업에는 능숙하지만, 기존 코드를 다루는 Brownfield 영역에서는 강력한 제품 결정을 내리지 못한다고 지적했다. 기존 코드를 작성하고 업데이트하며 유지 관리하는 과정이 현재 AI 에이전트가 직면한 실질적인 기술적 도전 과제다.

프로젝트 설계 단계에서 고가의 프런티어 모델을 사용하고 실제 구현 단계에서 저렴한 오픈 웨이트(가중치가 공개된 모델) 모델로 전환해 비용을 낮춘다. Kilo Code는 게이트웨이에서 500개 이상의 모델을 지원하며 소프트웨어와 모델을 분리해 운영한다. 고성능 모델로 프로젝트의 전체 아키텍처를 설계한 뒤, 나머지 세부 구현 작업은 비용 효율적인 모델로 전환해 처리하는 멀티 모델 전략을 활용한다. 소프트웨어와 모델을 분리함으로써 특정 모델에 종속되지 않고 작업의 성격과 비용 요구치에 따라 모델을 교체해 적용하는 구조다.

엔지니어들은 업무 시간의 약 1%만 직접 코드를 읽거나

업무 시간의 약 1%만이 직접적인 코드 읽기와 작성에 할당된다. Kilo Code(킬로 코드)의 공동 창업자 에밀리 샤리오(Emilie Schario)에 따르면 엔지니어들은 나머지 작업을 AI 에이전트가 수행하도록 워크플로우를 설계했다. 디버깅이나 심각한 오류 수정과 같은 예외적인 상황을 제외하면 대부분의 코딩 작업은 에이전트가 전담하여 처리한다. 에이전트 기반 AI가 기업의 실제 작업 흐름에 깊숙이 통합되면서 개발자의 역할이 코드 작성에서 관리와 검토 중심으로 변화했다.

AI의 경제적 가치를 측정하는 핵심 지표는 단순 총지출액이 아닌 풀 리퀘스트(PR, 코드 변경 사항 반영 요청)당 비용이다. 완료된 작업량 대비 투입된 비용을 정밀하게 분석하여 ROI(투자 대비 효율)를 판단하는 방식을 취한다. 지출 규모 자체가 문제가 아니라, 투입된 비용만큼의 수익이 돌아오지 않는 지출을 식별하고 이를 통제하는 것이 분석의 핵심이다.

AI 도입의 실질적 가치는 총지출액이 아닌 PR당 비용을 기준으로 판단해야 한다.