facts

최근 AI 커뮤니티에서 화제가 된 '자전거 타는 펠리컨 SVG 생성'이라는 비공식 벤치마크를 대상으로 모델 최적화 여부를 가리는 실험이 수행됐다. 실험에는 GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro 등 7개의 프런티어 모델이 투입됐다. 연구자는 8종의 동물과 6종의 탈것을 조합한 48개의 프롬프트를 설계해 모델당 3개씩, 총 1,008개의 SVG 이미지를 생성하고 LLM 판정 모델을 통해 점수를 매겼다.

분석 결과, 펠리컨은 8종의 동물 중 품질 순위 6위에 머물렀으며, 자전거는 탈것 중 최하위권인 뒤에서 두 번째를 기록했다. 특히 문제가 된 '자전거 타는 펠리컨' 조합은 전체 48개 조합 중 42위라는 낮은 성적을 냈다. 고정 효과 회귀 분석(fixed-effects regression)을 통해 특정 모델이 펠리컨이나 자전거, 혹은 그 조합에서만 유독 높은 점수를 얻었는지 확인했으나, Gemini 3.5 Flash의 자전거 항목에서 나타난 일시적 수치 외에는 통계적으로 유의미한 '부스트' 현상이 발견되지 않았다.

이미지 구성의 유사성 검토에서도 특이점은 없었다. 펠리컨-자전거 이미지 21개가 모두 오른쪽을 향하고 있다는 점이 지적됐으나, 이는 다른 동물-탈것 조합에서도 흔히 나타나는 경향(전체 이미지의 60%가 오른쪽 향함)인 것으로 확인됐다. 특정 요소의 반복 등장 역시 플라밍고-보트(태양 등장)나 수달-비행기(스카프 착용) 조합에서 더 빈번하게 나타나, 펠리컨 조합만이 특별히 암기된 구성을 따랐다고 보기 어렵다는 결과가 나왔다.

market-flow

이번 실험의 배경에는 '벤치맥싱(Benchmaxxing)'이라 불리는 AI 모델의 성능 부풀리기 경쟁이 있다. 벤치맥싱은 모델이 실제 능력을 키우기보다 유명 벤치마크 데이터셋에 포함된 문제와 정답을 학습해 점수만 높이는 행위를 말한다. 수조 원 단위의 투자가 걸린 AI 시장에서 벤치마크 점수는 사용자 채택과 투자 결정에 직접적인 영향을 미치기 때문에, 개발사들이 유혹을 느끼기 쉬운 지점이다.

특히 주목할 점은 평가의 축이 공식 벤치마크에서 사이먼 윌리슨(Simon Willison)의 펠리컨 프롬프트 같은 '비공식/커뮤니티 벤치마크'로 옮겨가고 있다는 것이다. 공식 지표가 오염되었다는 불신이 커지면서, 사용자들은 예측 불가능한 창의적 과제를 통해 모델의 실제 추론 능력을 검증하려 한다. 이번 실험은 이러한 커뮤니티의 의구심이 실제 모델 학습 단계에 반영되었는지를 추적했다는 점에서 의미가 있다.

결과적으로 현재의 프런티어 모델들은 특정 유행 프롬프트에 맞춰 데이터를 억지로 밀어 넣는 수준의 최적화는 하지 않고 있는 것으로 보인다. 다만, 이는 펠리컨-자전거라는 특정 사례에 한정된 결과이며, 구글/딥마인드처럼 SVG 생성 능력 자체를 전반적으로 높이는 방식의 최적화(SVGmaxxing)는 여전히 유효한 경쟁 전략으로 작동하고 있다.

reader-impact

AI 모델을 도입하거나 검증해야 하는 실무자는 단일한 '바이럴 프롬프트' 결과만으로 모델의 성능을 판단하는 위험을 경계해야 한다. 특정 조합에서 우수한 결과가 나왔을 때, 그것이 모델의 일반적인 생성 능력 향상인지 아니면 특정 데이터에 대한 과적합(Overfitting) 결과인지 구분할 기준이 필요하다.

가장 효과적인 검증 방법은 이번 실험에서 사용된 '그리드 테스트' 방식의 도입이다. 확인하고 싶은 핵심 대상(예: 펠리컨)과 조건(예: 자전거)을 설정한 뒤, 유사한 다른 대상(헤론, 플라밍고)과 다른 조건(스쿠터, 스케이트보드)을 교차 배치해 성능의 일관성을 확인하는 것이다. 만약 특정 조합에서만 성능이 튀고 유사 조합에서 급격히 떨어진다면, 이는 모델의 범용적 능력이 아니라 특정 패턴의 암기 결과일 가능성이 높다.

결국 모델 선택의 기준은 '무엇을 그려낼 수 있는가'라는 단편적 결과가 아니라, '다양한 변수 조합 속에서 얼마나 일관된 품질을 유지하는가'라는 분포의 관점으로 옮겨가야 한다. 실무자는 벤치마크 점수보다 이러한 변동성 테스트 결과를 더 중요한 선택 신호로 삼아야 한다.