인공지능(AI)이 작성한 코드가 기능 테스트를 통과하더라도 내부적으로는 불필요한 추상화, 중복, 나쁜 설계 결정을 피하지 못해 코드가 조잡해지는 현상을 객관적으로 측정하는 새로운 벤치마크 ‘SlopCodeBench’가 공개됐다. 기능이 제대로 동작하는지는 테스트로 확인할 수 있지만, 코드가 얼마나 조잡한지는 판단이 흔들리는 AI 심사나 방대한 코드를 일일이 검토해야 하는 사람의 방식으로는 대규모로 평가하기 어려웠다. 이 벤치마크는 AI 에이전트가 생성한 코드의 조잡함을 정량적으로 평가할 수 있는 기준을 제시한다.

장황성과 침식도로 측정한 코드 품질의 한계

SlopCodeBench는 중복되거나 불필요하게 장황한 줄의 비율을 뜻하는 장황성과, 코드가 크고 복잡한 일부 함수에 얼마나 집중되었는지를 보는 침식도 두 가지 지표를 사용한다. 평가 결과 에이전트가 생성한 코드는 기존 저장소보다 장황성과 침식도가 모두 평균 약 2배 높게 나타났다. 기존 저장소의 장황성은 0.15였으나 에이전트 코드는 0.33이었고, 침식도 역시 기존 저장소 0.31에서 에이전트 코드 0.68로 상승했다. 개발 과정에서 기능을 하나씩 추가하며 문맥을 초기화하는 반복 개발을 거치면 이러한 잘못된 설계 결정이 계속 누적되는 경향을 보였다.