매일 생성형 모델을 다루는 개발자들은 모델이 학습 데이터에 없는 새로운 조합을 얼마나 잘 만들어내는지 확인하며 성능을 가늠한다. 조건부 확산 모델(입력된 조건에 따라 이미지를 생성하는 모델)은 학습하지 않은 개념의 조합도 그럴듯하게 구현하는 구성적 일반화 능력을 보여주지만, 정작 그 내부에서 어떤 논리로 이런 결과가 도출되는지는 블랙박스로 남아 있었다. 이번 연구는 이 현상을 설명하기 위해 모델이 학습한 객체의 개수를 넘어서는 이미지를 생성하는 길이 일반화 능력을 집중적으로 파고들었다.

연구팀이 확인한 CLEVR 환경에서의 일반화 성능

연구팀은 CLEVR(객체 간 관계와 속성을 추론하는 시각적 데이터셋) 환경을 활용해 모델의 길이 일반화 능력을 정밀하게 측정했다. 실험 결과, 모든 모델이 동일한 성능을 보이지는 않았다. 특정 모델은 학습 범위를 넘어서는 객체 수에서도 안정적인 생성을 보인 반면, 그렇지 못한 모델도 존재했다. 이는 모델이 단순히 데이터를 암기하는 것이 아니라, 데이터 내부에 숨겨진 구성적 구조를 학습했을 때만 일반화가 가능하다는 사실을 시사한다. 연구팀은 이 구조적 기제를 국소성(Locality)이라는 개념으로 정의하고 분석을 이어갔다.

국소적 조건부 점수와 구성적 구조의 관계

예전에는 확산 모델의 창의성을 설명하기 위해 점수 국소성(모델이 이미지의 특정 부분에만 집중하는 성질)을 주로 언급했다. 그러나 기존 연구들은 유연한 조건부 입력이나 구성적 일반화까지는 다루지 못했다. 이번 연구는 조건부 투영 합성(여러 조건을 수학적으로 결합하는 방식)과 픽셀 및 조건에 대해 희소한 의존성을 갖는 국소적 조건부 점수(Local Conditional Scores)가 수학적으로 정확히 일치함을 증명했다. 이 이론은 스타일과 콘텐츠를 결합하는 개념적 합성에도 동일하게 적용된다. 실제로 길이 일반화에 성공한 모델들은 예외 없이 국소적 조건부 점수 특성을 나타냈으며, 실패한 모델에 인위적으로 이 점수를 강제하자 일반화 능력이 활성화되는 결과가 나타났다.

SDXL 모델의 특징 공간 분석 결과

개발자가 바로 체감하는 변화는 모델 내부의 작동 방식을 이해함으로써 얻는 제어 가능성이다. 연구팀은 실제 상용 모델인 SDXL(고해상도 이미지 생성을 위해 최적화된 확산 모델)을 대상으로 동일한 분석을 수행했다. 픽셀 공간에서는 공간적 국소성은 발견되었으나 조건부 국소성은 거의 나타나지 않았다. 그러나 모델이 학습한 특징 공간(데이터의 핵심 정보를 압축해 표현하는 내부 영역)을 분석하자, 국소적 조건부 점수의 존재를 뒷받침하는 정량적 증거가 확인되었다. 이는 모델이 픽셀 단위가 아닌 추상화된 특징 수준에서 개념을 조합하고 있음을 의미한다.

모델의 일반화 능력은 데이터의 양이 아니라 내부 점수의 국소적 구조를 어떻게 설계하느냐에 따라 결정된다.