AI 생성물 판별 실험과 데이터의 한계

44명의 참가자를 대상으로 AI와 인간의 그림 20점을 구분하게 한 실험에서 정답률은 동전 던지기보다 조금 높은 수준에 머물렀다. 참가자들은 붓 자국을 찾거나 세밀하고 사실적인 묘사를 AI의 특징으로 추정했으나, 이러한 판단은 실제 정답과 일치하는 빈도가 낮았다. 이는 생성 결과물이 인간을 설득할 만큼 그럴듯한 수준에 도달했음을 보여준다.

심리학자 Berlyne가 제시한 미적 몰입 요인인 복잡성, 새로움, 모호성, 놀라움, 흥미를 7점 척도로 평가한 결과, 출처 표시에 따른 인식 변화가 확인됐다. 동일한 AI 생성 그림이라도 인간의 작품이라고 알렸을 때 복잡성, 새로움, 모호성 항목의 평가 점수가 유의하게 높아졌으며, 이 세 항목의 차이는 p < .05로 통계적 유의성을 확보했다. 반면 놀라움과 흥미 항목에서는 동일한 패턴이 나타나지 않았다.

해당 실험에 사용된 그림은 생성기와 판별기가 경쟁하는 구세대 GAN(생성적 적대 신경망) 기반 도구로 제작됐다. 이후 Stable Diffusion 같은 확산 모델이나 ChatGPT, Gemini 같은 언어-이미지 결합 모델로 기술이 전환되었으나, 생성물이 사람을 설득하는 '그럴듯함'과 생성 과정에서 '가치'를 직접 판단하는 능력은 별개의 문제로 남는다.

GAN의 최적화 메커니즘과 프로토타이핑의 간극

GAN은 이미지를 만드는 생성기와 가짜를 찾아내는 판별기를 경쟁시켜 모델을 개선한다. 생성기의 학습 목표는 판별기를 속여 '진짜처럼 보이게' 만드는 것이며, 이는 검사를 통과하는 결과물을 최적화하는 과정이다. 결과적으로 GAN은 시각적 유사성을 학습할 뿐, 해당 결과물이 생성될 가치가 있는지에 대한 내적 판단 기준을 학습하지 않는다.

최근의 Claude Design 같은 프로토타이핑 도구는 팀의 실제 구성요소와 브랜드 표현 방식을 학습해 획일적인 외형을 개선하는 수준까지 발전했다. 하지만 Nielsen Norman Group의 비교 연구에 따르면, 상세한 프롬프트를 사용하더라도 AI 결과물은 그룹화, 정보 계층, 간격(spacing)과 같은 미세한 설계 결정을 지속적으로 놓치는 경향이 있다.

작동하는 결과물과 제대로 된 결과물의 차이는 엣지 케이스(Edge Case)와 빈 상태(Empty State) 처리에서 드러난다. AI는 기술적으로 정확한 구성요소를 배치할 수 있지만, 복잡한 실제 데이터가 입력되었을 때 화면 구조가 무너지는지, 혹은 빈 화면이 사용자에게 단순한 백지로 인식되는지와 같은 맥락적 판단을 수행하지 않는다. 이는 생성 성능의 향상만으로는 해결되지 않는 '멈춤의 기준(stopping rule)'에 관한 문제다.

큐레이션 중심의 작업 흐름 변화

생산 규모의 확장은 실행의 희소성을 낮추고 선택과 판단의 가치를 높인다. Andreessen Horowitz(a16z)는 이를 패션 하우스 모델에 비유하며, 실행 인력(스튜디오)보다 무엇을 만들 가치가 있는지 결정하는 라벨(이름)의 가치가 더 커진 상황으로 해석한다. AI가 아이디어를 작동하는 결과물로 바꾸는 장벽을 낮추면서, 작업의 핵심은 '생성'에서 '큐레이션'으로 이동하고 있다.

제품 관리자가 프롬프트만으로 당일 오후에 작동하는 버전을 만들 수 있게 된 환경에서, '빠르게 작동한다'는 상태가 '완료됐다'는 판단으로 오인되는 리스크가 발생한다. 디자인이 전문 분야로 발전한 이유는 시스템의 동작(Function)과 사용자 경험의 품질(Quality)이 서로 다른 기준이기 때문이다. 두 원칙이 충돌할 때 어느 쪽을 우선할지 결정하는 것은 문서화된 이론이 아니라 반복적인 비평과 교정을 통해 형성된 훈련된 눈의 영역이다.

실무자는 AI가 생성한 프로토타입을 검토할 때, 시각적인 그럴듯함에 매몰되지 않고 정보 계층의 논리적 타당성과 엣지 케이스에서의 인터랙션 붕괴 여부를 수동으로 전수 조사하는 검증 단계를 반드시 포함해야 한다.