AI와 인간의 리뷰 패턴 및 채택률 격차

300개 성숙한 오픈소스 프로젝트에서 발생한 54,330개의 PR(Pull Request)과 278,790개의 인라인 리뷰 대화가 분석 대상이 됐다. 2022년부터 2025년 11월까지의 데이터를 통해 인간과 AI 에이전트가 각각 어떤 방식으로 피드백을 주고받는지 추적했다. 분석 결과 AI 에이전트가 시작한 리뷰는 전체의 55.7%로 과반을 차지했지만, AI가 직접 작성한 PR은 2.6%에 불과해 주로 '리뷰어'로서의 역할에 집중되어 있음이 확인됐다.

리뷰 한 줄당 평균 토큰 수는 AI가 29.6토큰으로, 인간의 4.1토큰보다 훨씬 길었다. AI 코멘트에는 심각도, 요약 제목, 도구 출력 결과, 관련 파일 목록 등이 포함되어 정보량은 많았으나, 이는 곧 사람이 읽어야 할 부담으로 이어졌다. 특히 AI가 시작한 리뷰의 85.2~86.7%는 첫 코멘트 이후 추가 응답 없이 종료되는 단발성 피드백에 그쳤다.

실제 코드에 반영된 채택률에서는 뚜렷한 격차가 나타났다. 인간 리뷰어가 제시한 수정안의 채택률은 56.5%였으나, AI 리뷰어의 수정안은 16.6%에 머물렀다. 결함 수정 제안만 떼어놓고 봐도 인간은 53.7%, AI는 16.7%의 채택률을 기록하며 AI가 제시하는 해결책의 실효성이 상대적으로 낮음을 보여줬다.

맥락 파악의 한계와 '센서'로서의 역할

채택되지 않은 AI 제안의 28.7%는 적용 시 빌드가 깨지거나 프로젝트 동작과 충돌하는 잘못된 제안이었다. 또한 24.0%는 문제 지적은 정확했으나 개발자가 다른 방식으로 수정하는 사례였다. 이는 AI가 저장소의 전체 구조나 빌드 설정을 충분히 파악하지 못해, 실제로는 정상인 코드를 오류로 지적하거나 프로젝트 환경에 맞지 않는 해결책을 제시하기 때문이다.

인간 리뷰어가 수행하는 핵심 역할은 '지식 전달(Knowledge Transfer)'과 '의도 확인'에 있었다. 인간은 최근 변경된 클래스명이나 저장소 내부 관례 같은 고유 지식을 전달하고, 구현 의도와 설계 이유를 질문하며 수정 방향을 조율했다. 반면 AI는 의도가 불분명한 상황에서도 질문하기보다 즉각적인 수정안을 제시하는 경향을 보였다.

AI 에이전트의 역할은 판결을 내리는 리뷰어보다 결함 후보를 넓게 탐지하는 '센서'에 가깝다. 대량의 코드 변경분에서 반복적인 개선 항목을 찾거나 잠재적 결함을 빠르게 선별하는 1차 검사 단계에서는 효율적이지만, 최종적인 수정 방향 결정과 맥락 적용은 여전히 인간의 영역으로 남아 있다.

AI 리뷰 도입 시 실무자가 관찰해야 할 지점

실무자가 AI 리뷰 도구를 도입할 때 가장 먼저 설정해야 할 방향은 '필터링'과 '검증'의 분리다. AI가 제시하는 긴 설명보다는 짧고 검증된 문제 위주로 전달하도록 제어하고, AI의 제안을 그대로 수용하기보다 결함 후보 리스트로 활용하는 프로세스가 필요하다. 특히 AI가 제안한 수정안이 채택되었다 하더라도, 해당 코드가 분기 복잡도나 코드 크기를 불필요하게 늘리지 않았는지 유지보수성 관점에서 재검토해야 한다.

반영된 수정안의 품질을 분석한 결과, AI의 수정안은 인간의 수정안보다 코드 크기와 분기 복잡도를 더 많이 증가시키는 경향이 확인됐다. 이는 AI가 단순히 동작하는 코드를 만드는 데 집중할 뿐, 전체 시스템의 간결함이나 유지보수 효율까지 고려하지 못한다는 신호다.

결국 AI 코드 리뷰의 효용은 저장소의 빌드 설정, 과거 리뷰 이력, 프로젝트 관례를 얼마나 정교하게 AI에게 학습시키느냐에 달려 있다. AI가 1차적으로 결함 후보를 걸러내고, 인간이 프로젝트의 고유 맥락을 적용해 최종 판단을 내리는 시너지를 구축하는 것이 현재 기술 수준에서의 최적 선택지다.