3D 파리 갤러리 구축과 'mishig/monuments-de-paris'

새로운 AI 모델을 도입할 때마다 SDK를 설치하고 API 문서를 분석하는 과정을 계속 반복해야 할까? 코딩 에이전트가 허깅페이스 스페이스(Hugging Face Spaces, AI 모델 실행 환경) 두 개를 연결해 3D 가우시안 스플래팅(Gaussian Splats, 3D 복원 기술) 웹사이트를 단독으로 제작했다. 결과물은 https://huggingface.co/spaces/mishig/monuments-de-paris 에서 확인할 수 있다. 이 과정에서 작업자는 이미지 생성 모델이나 3D 복원 도구를 단 한 번도 직접 실행하지 않았다.

에이전트는 이미지 생성 모델과 3D 복원 모델이 각각 배포된 두 개의 스페이스를 체이닝(Chaining, 순차적 연결)했다. 텍스트 프롬프트를 입력해 이미지를 생성하고 이를 다시 3D 모델로 변환하는 전체 파이프라인을 스스로 구축했다. 특히 에이전트는 단일 이미지 기반 3D 복원을 위해 배경이 검은색으로 분리된 소스 이미지 6장을 먼저 생성했다. 모델의 특성을 이해하고 최적의 입력값을 스스로 준비해 3D 복원 모델에 전달한 결과다.

인간의 역할은 코딩이 아닌 취향 기반의 피드백을 제공하는 감독자에 머물렀다. "화면을 더 줌 아웃 해달라"는 요청이나 "오벨리스크는 스플래팅 결과가 좋지 않으니 다른 대상으로 바꿔달라"는 지시를 내렸다. "화면 전환 효과가 너무 길게 유지된다"는 식의 사용자 경험(UX) 수정 요구도 포함됐다. 에이전트는 이러한 자연어 피드백을 즉각 반영해 에셋을 교체하고 인터페이스를 수정했다. 이는 기존의 기술적 R&D 루프가 대화형 수정 루프로 대체되었음을 보여준다.

최종 결과물은 정적인 스페이스 형태로 배포되어 누구나 접속 가능한 상태가 됐다. 에이전트가 이미지와 3D 스플랫이라는 모든 에셋 생성부터 뷰어 구현, 최종 배포까지 전 과정을 단독으로 수행했다. 개별 모델을 통합하는 데 드는 물리적인 비용과 시간이 제거됐다. 개발자가 API 명세서를 읽고 라이브러리를 설치하는 단순 반복 작업 대신 결과물의 심미적 완성도를 결정하는 판단에만 집중하는 방식이다. 멀티미디어 프로토타입을 구축하는 속도가 기존의 수동 통합 방식과는 완전히 다른 궤도로 진입했다.

agents.md: SDK 없는 모델 호출의 표준

새로운 AI 모델을 도입할 때마다 개발자는 SDK(소프트웨어 개발 키트)를 설치하고 수십 페이지의 API 문서를 분석해야 했다. 모델마다 요구하는 입력 포맷이 다르고 호출 방식이 제각각이라 이를 맞추는 통합 과정에서 상당한 리소스가 소요됐다. 모델의 성능이 아무리 뛰어나도 이를 서비스에 붙이는 과정에서 병목이 생기면 시장 진입 속도는 늦어질 수밖에 없다. 허깅페이스(Hugging Face)는 이 번거로움을 해결하기 위해 모든 Gradio Space(그라디오 스페이스, 인터랙티브 AI 앱 공유 플랫폼)에 `agents.md` 파일을 도입했다. 이제 AI 에이전트는 모델의 내부 구조나 복잡한 라이브러리를 분석할 필요 없이 텍스트 파일 하나로 호출 규격을 즉시 파악한다.

`agents.md` 파일은 모델 호출에 필요한 모든 인터페이스 정보를 표준화된 텍스트 형태로 노출한다. 여기에는 API의 스키마 URL과 요청을 보내고 결과가 생성될 때까지 주기적으로 확인하는 폴링(poll) 템플릿이 포함된다. 특히 AI 모델 특성상 추론 시간이 길어 발생하는 비동기 처리 과정을 에이전트가 어떻게 처리해야 하는지 명확한 가이드를 제공한다. 파일 업로드 방식과 인증을 위한 힌트까지 상세히 명시되어 있다. 에이전트는 이 파일을 읽어 어떤 데이터를 입력하고 어떤 시점에 결과값을 받아낼지 스스로 판단한다. 사람이 직접 코드를 짜서 연결하던 인터페이스 설계 작업이 에이전트의 문서 해석 작업으로 대체된 것이다.

기존의 통합 방식은 특정 언어의 라이브러리를 설치하고 입력 포맷을 하드코딩하는 과정이 필수적이었다. 하지만 `agents.md` 체제에서는 별도의 클라이언트 라이브러리를 설치하거나 복잡한 래퍼 함수를 만들 필요가 없다. `HF_TOKEN`(허깅페이스 인증 토큰) 설정만으로 에이전트가 Space의 기능을 엔드투엔드로 직접 제어한다. 모델마다 달랐던 호출 방식이 표준화된 텍스트 문서로 통합되면서 통합 단계에서 발생하던 물리적 시간이 제거됐다. 개발자는 더 이상 라이브러리 버전 충돌이나 API 명세 변경에 따른 코드 수정에 시간을 낭비하지 않고 기능 구현에만 집중한다.

이 변화의 실질적인 임팩트는 모델 간의 체이닝(chaining) 속도에서 나타난다. 한 Space의 출력값이 다른 Space의 입력값으로 즉시 연결되는 구조다. 텍스트 프롬프트가 이미지로 변하고, 그 이미지가 다시 3D 모델로 변환되는 전체 파이프라인을 에이전트가 단독으로 구축한다. 개별 모델을 하나하나 통합하는 비용이 사라지면서 멀티미디어 프로토타입을 구현하는 속도가 비약적으로 상승했다. 이제 비즈니스 구현 속도는 개별 모델의 성능보다 검증된 모델 블록들을 얼마나 빠르게 조립하고 연결하느냐에 따라 결정된다. 통합 비용의 제거는 곧 실험의 주기 단축으로 이어진다.

모놀리스'에서 '빌딩 블록 경제'로의 전환

허깅페이스 허브(Hugging Face Hub)에는 수천 개의 최신 모델이 공개되어 있다. 하지만 단 두 개의 모델을 연결해 서비스로 만드는 비용은 여전히 높았다. 기존의 AI 모델 통합은 개발자에게 물리적인 고통에 가까운 작업이었다. 최신 이미지 모델이나 3D 복원 모델 하나를 도입하려면 전용 SDK(소프트웨어 개발 키트)를 설치하고 수 기가바이트의 가중치 파일을 내려받아야 한다. 서버의 GPU 환경을 모델 요구사항에 맞게 설정하고 입력 데이터 포맷을 일일이 수정하는 과정이 필수적이다. 모델의 성능이 아무리 뛰어나도 이를 실제 서비스에 붙이는 통합 비용이 진입 장벽으로 작용했다.

미첼 하시모토(Mitchell Hashimoto)는 이 지점에서 빌딩 블록 경제(Building Block Economy)라는 개념을 제시했다. 소프트웨어를 구축하는 가장 효율적인 경로가 더 이상 정교하게 다듬어진 거대한 단일 구조, 즉 모놀리스(Monolith)가 아니라는 주장이다. 대신 누구나 사용할 수 있도록 잘 문서화된 작은 컴포넌트들의 집합이 그 자리를 대체한다. 개발자는 모든 기능을 직접 구현하는 대신 검증된 조각들을 선택해 빠르게 조립한다. 시스템의 완성도는 개별 부품의 정밀함보다 조립의 효율성에서 결정된다.

AI 에이전트는 무에서 유를 창조하는 코딩보다 이미 검증된 조각들을 연결하는 글루(Glue) 작업에서 압도적인 성능을 보인다. 개발자가 npm(노드 패키지 매니저) 패키지를 가져다 쓰듯, 에이전트가 문서화된 호출 가능 블록(callable block)을 결합하는 방식이다. 복잡한 클라이언트 라이브러리를 설치하거나 하드코딩된 통합 과정을 거칠 필요가 없다. 에이전트가 API 규격을 읽고 필요한 기능을 적재적소에 배치한다. 이제 AI는 단순한 개발 도구가 아니라 시스템을 조립하는 조립공의 역할을 수행한다.

멀티미디어 AI 파이프라인의 구축 비용은 이 방식으로 낮아진다. 이미지 생성 모델과 3D 복원 모델을 각각의 독립된 환경으로 구축하던 기존 방식은 비효율적이다. 에이전트가 각 모델을 하나의 블록으로 인식해 체이닝하면 구축 시간이 며칠에서 몇 분 단위로 줄어든다. 개별 모델의 절대적 성능 경쟁보다 모델 간의 연결성과 표준화된 호출 규격이 비즈니스 임팩트를 결정하는 핵심 요소가 된다. 조립 가능한 블록의 수가 많아질수록 에이전트가 구현할 수 있는 서비스의 범위는 기하급수적으로 확장된다.

.ply를 .ksplat으로, 에이전트가 수행한 최적화

3D 모델의 웹 로딩 속도를 결정하는 데이터 용량이 약 3배 감소했다. 에이전트는 원본 .ply 파일을 .ksplat 포맷으로 압축하는 최적화 과정을 스스로 수행했다. 웹 브라우저에서 고용량 3D 가우시안 스플래팅(Gaussian Splatting, 3D 공간을 점들의 집합으로 표현하는 기술) 데이터를 지연 없이 렌더링하기 위한 필수적인 조치다. 기존에는 개발자가 별도의 변환 툴을 사용해 포맷을 바꾸고 최적화 수치를 일일이 조정해야 했다. 에이전트가 데이터 파이프라인의 끝단에서 전처리 엔지니어링을 직접 처리하며 통합 비용을 낮췄다.

에이전트는 모델의 출력 특성을 분석해 기하학적 오류를 바로잡았다. TripoSplat(단일 이미지 기반 3D 복원 모델)의 결과값이 Y-down(상하가 뒤집힌 상태)으로 출력되는 점을 감지하고 이를 상하 반전 처리했다. 각 기념물의 중심을 잡는 오토 프레이밍 작업도 함께 수행했다. 시각화 단계에서는 Three.js(웹 기반 3D 자바스크립트 라이브러리)를 활용해 전용 뷰어를 구축했다. 스크롤을 통해 모델을 전환하고 마우스 드래그로 자유롭게 회전시키는 UI를 직접 구현했다. API를 연결하는 수준을 넘어 실제 서비스에 즉시 투입 가능한 프론트엔드 개발 영역까지 수행 범위가 확장된 결과다.

단일 뷰 복원 모델이 가진 기술적 한계는 대화형 반복 수정 루프로 보완했다. 단일 이미지로 3D 모델을 생성하면 보이지 않는 뒷면을 추론하는 과정에서 형태 왜곡이 발생한다. 에이전트는 유리 피라미드처럼 반사가 심한 물체가 스플래팅 방식에 부적합하다는 물리적 특성을 인지하고 대응했다. 사용자가 "줌 아웃 해달라"거나 "오벨리스크를 다른 모델로 교체하라"는 취향 기반의 피드백을 전달하면 이를 즉시 반영해 결과물을 다시 생성했다. 기존의 R&D 과정이 가설 설정과 코드 수정, 재배포의 반복이었다면 이제는 자연어 대화가 곧 최적화 루프가 된다.

이 과정은 에이전트가 단순한 연결 도구를 넘어 실무 엔지니어의 판단력을 모사하고 있음을 보여준다. 데이터 포맷의 효율성을 따지고 출력값의 좌표계를 수정하는 작업은 도메인 지식이 필요한 영역이다. 에이전트가 이러한 하위 레벨의 최적화 작업을 전담하면서 개발자는 최종 결과물의 품질과 사용자 경험이라는 상위 기획에만 집중할 수 있다. 개별 모델의 성능보다 모델들을 어떻게 엮고 최적화하느냐가 멀티미디어 프로토타입 구축 속도를 결정하는 핵심 변수가 됐다.

한국 AI 실무자가 주목할 '오케스트레이션'의 가치

오픈소스 모델을 무료로 쓸 수 있다고 해도 이를 실제 서비스에 붙이는 통합 비용은 기업이 온전히 감당해야 할 숨은 지출이다. 개발자는 새로운 모델을 도입할 때마다 전용 SDK를 설치하고 수백 페이지의 API 문서를 분석해야 한다. GPU 환경 설정과 입력 포맷 맞춤 작업에만 며칠이 소요되는 경우가 허다하며 이는 고스란히 인건비와 시간 손실로 이어진다. 허깅페이스(Hugging Face)의 agents.md 파일은 이 번거로운 통합 과정을 완전히 생략한다. 에이전트가 이 파일을 읽으면 별도의 클라이언트 라이브러리 설치 없이 모델을 직접 호출하고 체이닝할 수 있다.

허깅페이스 허브에는 수천 개의 오픈웨이츠(open-weights, 모델 가중치가 공개된 형태) 모델이 존재한다. 대부분의 최신 모델은 인터랙티브 스페이스(Spaces) 형태로 배포되어 즉시 실행 가능한 상태다. 이제 이 모델들은 독립적인 소프트웨어가 아니라 즉시 조립 가능한 표준 부품이 된다. 에이전트는 agents.md에 명시된 스키마 URL과 호출 및 폴링 템플릿을 통해 모델을 마치 npm 패키지를 가져다 쓰듯 결합한다. 모델 자체의 파라미터 성능 경쟁보다 어떤 모델들을 어떻게 효율적으로 엮어낼 것인가가 실질적인 비즈니스 경쟁력이 된다.

한국의 AI 실무자는 클로드 코드(Claude Code, 앤스로픽의 코딩 에이전트) 같은 도구에 agents.md 링크를 제공하는 것만으로 복잡한 파이프라인을 즉시 구축한다. HF_TOKEN(허깅페이스 인증 토큰) 설정만 완료하면 에이전트가 모델의 입력과 출력을 엔드투엔드로 제어한다. 이 과정에서 에이전트는 단순한 연결을 넘어 데이터 최적화 작업까지 스스로 수행한다. 3D 데이터인 .ply 파일을 .ksplat으로 압축해 용량을 3배 줄이고 Three.js(웹 기반 3D 라이브러리) 뷰어로 구현해 로딩 속도를 높이는 식이다. 모델 학습 단계가 아니라 조립과 최적화 단계에서 생산성이 비약적으로 상승한다.

인간의 역할은 이제 기술적인 구현이나 코드 작성에서 취향 기반의 피드백 제공으로 옮겨간다. 줌 아웃을 요청하거나 결과물의 구도를 수정하는 식의 대화가 곧 제품의 R&D 과정이 된다. 검증된 조각들을 빠르게 연결해 멀티미디어 프로토타입을 만드는 속도가 시장 진입 시점을 결정한다. 개별 모델의 통합 비용을 제거하고 에이전트를 통해 모델들을 오케스트레이션하는 능력이 AI 서비스의 실제 구현 속도를 가늠하는 핵심 기준이 된다.

SDK 설치와 API 문서 분석에 소모되던 통합 비용이 사라졌다. 허깅페이스의 agents.md는 에이전트가 별도의 클라이언트 라이브러리 없이 모델을 직접 호출하고 체이닝하는 구조를 구현한다.

.ply 파일을 .ksplat으로 압축해 용량을 3배 줄이고 Three.js 뷰어로 구현한 과정은 에이전트 기반 최적화의 실효성을 보여준다. 개별 모델의 성능보다 모델 간의 연결과 최적화 효율이 더 중요해졌다. 이제 AI 서비스의 성패는 멀티미디어 프로토타입을 얼마나 빠르게 조립하고 검증하느냐에 달려 있다.