70년 전 기록 없는 기억을 재현한 'Love, Rendered'

사진이나 영상 기록이 전혀 없는 70년 전의 기억을 AI로 시각화했다. 기록물이라는 물리적 증거 없이 개인의 기억만으로 과거를 재현한 결과는 기록 보존 방식을 고민하는 이들의 선택지를 넓힌다.

구글 딥마인드와 영화 제작진은 단편 다큐멘터리 러브 렌더드(Love, Rendered)를 통해 인지 저하를 겪는 노부부의 사라져가는 기억을 영상으로 복원했다. 대상은 결혼 70년 차인 버트 샤츠와 에델 샤츠 부부다. 특히 버트가 겪는 인지 기능 저하로 인해 함께 공유하던 소중한 기억들이 사라지는 상황에 주목했다.

복원의 핵심 목표는 두 사람이 클리블랜드의 학생 협동조합에서 처음 만났던 날을 재현하는 것이었다. 당시의 상황을 증명할 사진이나 영상이 전혀 없었기에 해당 기억은 오직 부부의 머릿속에만 존재했다. 제작진은 기록되지 않은 과거를 시각화하기 위해 구글 딥마인드의 기술력을 투입했다.

이미지 출처: Google AI

이번 프로젝트는 아카데미상 후보에 오른 리즈 가버스 감독이 연출하고 댄 코건과 대런 아로노프스키가 제작했다. 기술 구현은 구글 딥마인드와 아로노프스키의 크리에이티브 벤처인 프리모디얼 수프(Primordial Soup)의 협업으로 이루어졌다. 단순한 기술 시연이 아니라 영화적 서사와 기술적 복원을 결합한 형태다.

제작 과정에서 부인 에델은 단순한 대상이 아니라 능동적인 공동 창작자로 참여했다. 그녀는 생성된 영상 속 계단의 곡선이나 구두 굽의 모양 같은 세부 디테일을 직접 교정하며 기억의 정확도를 높였다. 이는 AI가 단독으로 결과물을 만드는 것이 아니라 인간의 기억과 피드백이 정밀하게 개입했음을 나타낸다.

대런 아로노프스키는 붓이나 망치 같은 도구가 인간의 손에 의해 이끌리기 전에는 아무것도 하지 못한다고 설명했다. 러브 렌더드에서 머신러닝(기계가 데이터를 통해 스스로 학습하는 기술)은 부부를 과거의 순간으로 안내하는 도구로 활용됐다.

[AX BRIEF 분석] 기록 없는 기억의 시각화는 AI의 역할이 단순한 이미지 생성을 넘어 정서적 복원으로 확장되었음을 보여준다. 실무적으로는 정교한 인간의 피드백이 결합될 때 AI가 개인의 주관적 진실에 접근할 수 있다는 점이 핵심이다. 다만 이러한 재현은 당사자의 기억력과 세부 묘사 능력이라는 조건에 의존하므로, 객관적 사실 복원보다는 정서적 만족을 위한 개인화 콘텐츠 제작에 적합한 방식이다.

이미지 복원과 퍼포먼스 캡처의 2단계 파이프라인

생성형 모델을 사용하여 젊은 시절의 흑백 사진을 복원하고 컬러화하는 작업으로 파이프라인의 첫 단계를 구성한다. 흑백 사진의 저해상도 영역을 채우고 색상을 입혀 시각적 기준점을 확보하는 과정이다. 이렇게 복원된 사진은 이후의 영상 생성 단계에서 인물의 이목구비와 비율이 왜곡되지 않도록 붙잡아주는 기준점이 된다. 원본 사진의 정체성을 유지하면서 고해상도 데이터를 확보해야만 다음 단계의 정밀한 매핑이 가능하기 때문이다.

이미지 출처: Google AI

복원된 외형 위에 퍼포먼스 캡처 모델을 사용하여 현재의 움직임을 입힌다. 퍼포먼스 캡처는 인물의 표정과 몸짓 같은 움직임을 디지털 데이터로 기록하는 기술이다. 단순히 걷거나 말하는 큰 동작이 아니라, 버트가 머리를 기울이는 각도나 말 사이의 짧은 망설임, 웃을 때 눈가에 잡히는 미세한 주름 같은 미세 습관(micro-mannerisms)을 정밀하게 추출한다. 이렇게 추출된 현재의 동적 데이터를 젊은 시절의 외형 모델에 매핑하여 정적인 사진 속에 실제 인물의 생동감을 구현한다.

이미지 출처: Google AI

이 방식은 시각적 복원과 동적 매핑을 분리한 2단계 파이프라인을 통해 외형의 일관성과 행동의 사실성을 동시에 확보한다. 단순한 외형 복제보다 개인의 고유한 행동 패턴을 데이터화해 입히는 경로가 훨씬 높은 정서적 설득력을 가진다는 실무적 의미를 보여준다. 다만 퍼포먼스 캡처에 투입된 구체적인 모델명이나 학습 데이터의 규모, 캡처 장비의 사양은 공개되지 않았다. 따라서 공개된 결과물만으로는 일반적인 엔지니어링 환경에서 어느 정도의 데이터셋이 확보되어야 유사한 수준의 미세 습관 구현이 가능한지 판단하기에는 한계가 있다.

인간의 디렉팅이 개입된 AI 공동 창작 과정

AI 모델을 단순한 자동 생성 도구가 아니라 예술 매체와 툴킷(특정 목적을 위해 모아놓은 도구 모음)으로 정의하고 전 과정에 인간의 방향성을 개입시켰다. 제작진은 AI가 내놓은 결과물을 그대로 수용하는 대신 인간이 세부 사항을 결정하고 수정하는 제어 구조를 설계했다. 이는 기술적 자동화가 주는 효율성보다 창작자의 구체적인 의도를 우선시하여 결과물의 정밀도를 높이는 방식이다.

기억의 실제 소유자인 부인 에델이 공동 창작자로 참여해 시각적 디테일을 직접 교정하는 과정을 거쳤다. 에델은 생성된 영상 속 계단의 곡선이나 구두 굽의 모양 같은 세부 요소를 면밀히 확인하고 실제 기억과 다를 경우 이를 수정하도록 요청했다. AI를 정교한 디지털 붓처럼 활용해 기억 속의 파편을 구체적인 형상으로 다듬으며 시각적 오차를 줄이고 기억의 해상도를 높였다.

이번 작업의 기술적 지향점은 단순한 시각적 재현을 넘어 당사자가 실제라고 느끼는 정서적 진실성(emotional truth)을 확보하는 것이다. 픽셀 단위의 물리적 정확도보다 기억하는 사람이 느끼는 주관적 일치감을 최우선 순위에 두었다. 이는 대규모 데이터셋 기반의 평균적인 재현이 놓치기 쉬운 개인의 특수한 기억과 정서를 복원하여 기술이 인간의 내면적 경험에 밀착하게 만드는 과정이다.

AI 영상 생성 과정에 인간의 디렉팅을 밀접하게 결합하는 방식은 고품질 개인화 콘텐츠 제작의 실무적 경로를 보여준다. 모델의 추론 결과에 사용자의 도메인 지식이나 실제 기억이라는 외부 데이터를 결합하면 생성물의 정서적 신뢰도를 획기적으로 높일 수 있다. 다만 이 방식은 기억의 소유자가 직접 참여해 피드백을 주어야 한다는 전제 조건이 필요하다. 참여자의 기억력이나 주관적 판단에 따라 최종 결과물의 객관적 사실 관계가 달라질 수 있다는 점은 기술적 한계로 남는다.

제미나이 앱을 통한 개인적 활용과 실무적 시사점

제미나이 앱에서 사진을 업로드하고 특정 프롬프트를 입력하면 일반 사용자도 기초적인 사진 복원 기능을 바로 사용할 수 있다. 사용자는 복원하려는 가족사진 이미지를 업로드한 후 `Can you restore and colorize this photo? Preserve the appearance, expression, and pose of the people.`라는 프롬프트를 입력한다. 이 명령어는 사진 속 인물의 외형과 표정, 자세를 그대로 유지하면서 흑백 이미지를 컬러로 변환하고 손상된 부분을 복구하도록 유도한다. 복잡한 편집 소프트웨어 없이 대화형 인터페이스를 통해 과거의 시각적 기록을 현재의 화질로 끌어올리는 진입 장벽의 제거가 핵심이다.

AX BRIEF의 시각에서 이번 구현이 주는 실무적 시사점은 AI 영상 생성의 핵심 경로가 단순한 외형 복제에서 개인 특유의 습관을 데이터화해 입히는 방식으로 진화했다는 점이다. 이번 프로젝트는 현재 인물이 가진 미세한 습관인 마이크로 매너리즘(micro-mannerisms, 말할 때의 망설임이나 눈가의 미세한 떨림 등)을 추출해 젊은 시절의 외형에 정밀하게 이식했다. 이는 고품질의 개인화 콘텐츠를 제작할 때 단순히 고해상도 이미지를 생성하는 것보다 대상의 정체성을 결정짓는 행동 패턴을 어떻게 데이터로 정의하고 매핑하느냐가 더 중요하다는 사실을 입증한다. 실무적으로는 외형을 학습시키는 이미지 데이터셋 외에, 인물의 고유한 움직임을 기록한 퍼포먼스 데이터의 결합이 콘텐츠의 완성도를 결정하는 변수가 된다. 다만 이러한 방식은 현재의 인물이 생존해 있거나 충분한 행동 데이터가 확보된 경우에만 유효하며, 데이터가 부족한 경우 생성 모델의 임의적 추론에 의존하게 되는 한계가 있다.

정적인 과거 사진을 동적인 영상으로 바꿀 때, 단순한 시각적 재현보다 현재의 행동 습관을 정밀하게 이식하는 것이 사용자가 느끼는 정서적 실재감을 높이는 최종적인 판단 기준이 된다.