발표에서 확인된 핵심 사실

챗봇에게 복잡한 기획안을 맡기고 커서가 깜빡이는 화면을 멍하니 기다려본 적이 있을 것이다. 이제 AI는 단순히 텍스트를 내놓는 단계를 넘어 스스로 도구를 사용해 결과물을 완성하는 단계로 나아갔다. 연구진은 Claude Fable 5와 GPT-5.6 Sol 모델을 대상으로 자율적인 뮤직비디오 제작 능력을 테스트했다. 브루노 마스와 마크 론슨의 Uptown Funk 곡과 예산, 도구 세트를 제공하고 AI가 스스로 리서치부터 최종 조립까지 수행하게 만들었다. 예산은 25달러와 100달러 두 가지 조건으로 설정해 총 네 번의 실행 과정을 거쳤다.

이 과정의 핵심은 6가지 도구를 사용하는 자율 루프 방식의 에이전트 하네스(AI가 도구를 효율적으로 쓰도록 돕는 제어 장치)다. AI 모델은 먼저 어떤 비디오 생성 모델이 있는지 조사하고 그에 맞는 클립을 생성한다. 자신이 만든 영상을 직접 확인한 뒤 ffmpeg(영상 파일을 자르고 붙이는 편집 프로그램)로 편집해 최종 컷을 조립한다. 텍스트를 입력하면 영상이 나오는 단순한 구조가 아니라, AI가 작업 과정을 스스로 감시하고 수정하는 순환 구조로 움직인다.

이번 실험에 쓰인 에이전트 하네스는 누구나 사용할 수 있도록 오픈 소스로 공개됐다. github.com/hershalb/music-video-arena에서 전체 코드를 확인할 수 있다. 사용자가 직접 노래를 고르거나 예산을 설정하고, 테스트하고 싶은 다른 모델로 교체해 성능을 비교해 볼 수 있다.

예산 증가는 더 많은 영상 생성으로 이어졌으며, $100

복잡한 작업을 시키고 결과물이 나올 때까지 기다리는 시간은 늘 초조하다. 100달러의 예산을 투입한 실험에서 Claude Fable 5는 GPT-5.6 Sol보다 더 많은 비용을 지출하며 더 많은 영상을 만들어냈다. 대부분의 실행은 글자로 설명하면 바로 영상으로 만들어주는 텍스트-투-비디오 방식을 사용했다. 하지만 GPT-5.6 Sol은 예산 규모에 따라 영상 제작 경로를 다르게 설계했다. 25달러 예산에서는 정지 화면을 먼저 생성한 뒤 이를 움직이게 만드는 이미지-투-비디오 파이프라인을 사용했고, 100달러 예산에서는 한 번의 실행 과정에 세 가지 서로 다른 비디오 모델을 혼합해 사용하는 방식을 택했다.

AI가 텍스트를 처리하는 기본 단위인 토큰 비용에서도 두 모델의 경제적 효율은 확연히 달랐다. Claude Fable 5는 토큰 비용으로만 16.99달러에서 25.05달러를 썼으며, 이는 전체 실행 비용의 30-40%를 차지할 만큼 비중이 컸다. 반면 GPT-5.6 Sol은 비슷한 양의 토큰을 처리하고도 비용을 3-4달러 수준으로 매우 낮게 유지했다. 단순한 챗봇을 넘어 리서치와 편집 도구를 직접 다루는 에이전트를 실제 서비스에 적용한다면, 이러한 모델별 토큰 비용의 격차는 전체 운영 비용과 작업 효율을 결정하는 결정적인 판단 기준이 된다.

챗봇에게 기획안을 맡기고 커서가 깜빡이는 화면을 기다리던 시간은 이제 끝났다. 스스로 리서치하고 ffmpeg 같은 영상 편집 도구까지 다뤄 뮤직비디오를 완성하는 에이전트의 시대가 왔기 때문이다. 텍스트에서 바로 영상을 만들지, 이미지를 거쳐 만들지에 따라 비용과 품질이 갈리는 작업 경로의 차이를 이해하는 것이 핵심이다.

단순한 대화를 넘어 도구를 사용하는 에이전트의 가치는 결국 AI 데이터 처리 비용 대비 작업 효율에서 결정된다. 지금 바로 노래를 고르고 예산을 설정해 모델별 성능 차이를 직접 확인해 보길 권한다. AI는 이제 답을 주는 도구가 아니라 일을 끝내는 일꾼으로 바뀐다.

사용법

> 공식 저장소 기준 설치·실행 방법이다.

bash
npm install
cp .env.example .env   # then fill in keys
bash
npm start -- --song /path/to/song.mp3 --budget 25
bash
npm start -- --song ~/Downloads/music_video_arena.mp3 --budget 25 \
  --title "Uptown Funk" --artist "Mark Ronson ft. Bruno Mars" \
  --about "Upbeat retro funk-pop, ~115 BPM, flashy and fun. Think slick 70s/80s style, gold chains, dancing, bright colors, swagger." \
  --transcript ~/Downloads/uptown-funk.lrc