facts
2022년 5월부터 2026년 2월까지 207개 오픈소스 GitHub 프로젝트에서 완료된 102만 개의 PR(Pull Request)을 대상으로 리뷰 프로세스의 변화를 추적했다. 연구진은 생성형 AI의 도입 시점에 따라 리뷰 시대를 '인간 중심 리뷰', 'LLM 보조 리뷰', '에이전틱 리뷰'의 세 단계로 구분했다. 특히 저장소 탐색과 도구 실행이 가능한 AI 에이전트의 참여 여부가 핵심 변수로 작용했다.
분석 대상이 된 프로젝트들은 AI 리뷰어를 도입하는 방식에 따라 세 그룹으로 나뉘었다. 초기 LLM 리뷰를 제한적으로 사용하다 에이전트 참여를 확대한 '점진적 도입' 그룹이 46%로 가장 많았으며, 에이전트 등장 이후 빠르게 확대한 '에이전트 집중 도입' 그룹이 32%, LLM 단계부터 대부분의 PR에 AI를 적용한 '초기 LLM 집중 도입' 그룹이 22%를 차지했다.
리뷰 품질을 측정하는 대리 지표로는 세 가지 안티패턴을 설정했다. 특정 리뷰어 조합에 반복 의존하는 'Review Buddies', 리뷰가 장시간 정체되는 'Sleeping Review', 한 번에 너무 많은 변경 사항을 검토하는 'Large Changeset'이 그것이다. 연구진은 이러한 지표를 통해 AI 도입이 리뷰 결정 속도와 품질에 미치는 통계적 연관성을 분석했다.
how-it-works
리뷰 속도의 변화는 AI를 도입한 경로에 따라 다르게 나타났다. 점진적으로 AI를 도입하거나 에이전트 단계에서 빠르게 도입한 프로젝트는 인간 중심 시기보다 리뷰 결정 시간이 유의미하게 감소했다. 반면, 초기부터 대부분의 PR에 LLM 리뷰어를 투입한 프로젝트에서는 LLM 및 에이전트 시기 모두 뚜렷한 속도 개선이 관찰되지 않았다. 연구진은 이 그룹에서 특정 LLM 리뷰어 계정에 반복적으로 의존하면서 리뷰 관점의 다양성이 줄어든 점을 원인으로 꼽았다.
협업 순서에 따른 효율성 분석에서는 '에이전트가 먼저 검토하고 사람이 응답'하거나 '여러 에이전트가 함께 검토'하는 패턴이 사람만 참여한 리뷰보다 빠르게 결론에 도달했다. 이런 흐름의 75~95%에서는 에이전트가 변경 내용을 먼저 검사하고 요약한 뒤, 사람이 이를 바탕으로 짧게 판단하는 구조가 나타났다. 에이전트가 초기 파악 부담을 줄여줌으로써 결정 속도를 높인 것으로 분석된다.
품질 지표로 활용된 안티패턴 비율은 AI가 참여한 리뷰에서 더 높게 측정됐다. 사람만 참여한 리뷰의 안티패턴 비율이 69~76%인 것과 달리, AI 참여 패턴에서는 78~94%로 상승했다. 특히 'Review Buddies' 패턴의 경우 사람만 참여했을 때는 약 16%였으나, LLM 참여 시 평균 약 60%, 에이전트 참여 시 평균 약 53%로 급증했다. 이는 많은 프로젝트가 단일 AI 리뷰어를 모든 PR에 일괄 배정하면서 검토 관점이 고착화된 결과로 해석된다.
AI 도입 이후에도 변하지 않은 제약 사항은 PR의 물리적 특성과 작성자의 숙련도다. 커밋 수와 변경 크기가 크거나 인라인 논의가 많은 PR은 AI 참여 여부와 관계없이 'Sleeping Review' 상태가 될 가능성이 높았다. 또한 경험 많은 작성자의 PR이 더 빠르게 검토되는 기존의 경향성 역시 그대로 유지되었다.
implementation-impact
운영 전략의 핵심은 모든 PR에 동일한 AI 리뷰어를 일괄 적용하는 것이 아니라, PR의 맥락에 따라 리뷰어를 선택적으로 배치하는 것이다. 단순 유지보수 작업에는 가벼운 LLM 요약이나 자동 검사 도구를 배치하고, 저장소 전체의 맥락 탐색이 필요한 변경에는 AI 에이전트를 투입하며, 변경 규모가 크고 위험도가 높은 핵심 로직은 인간 주도의 리뷰 체계를 유지하는 방식이다. 또한 관점의 편향을 막기 위해 서로 다른 설정의 에이전트와 인간 리뷰어를 조합하는 구성이 필요하다.
실무자가 AI 리뷰 도구를 도입할 때는 단순한 결함 탐지율이나 리뷰 완료 시간 같은 단일 지표만으로 성능을 판단해서는 안 된다. 변경 유형, PR 크기, 작성자의 경험치, 그리고 리뷰 과정에서 발생하는 논의의 양을 함께 고려하여 AI의 참여 시점과 역할을 설계해야 리뷰 속도 개선이 품질 저하로 이어지는 것을 방지할 수 있다.
