LLM이 비디오를 실제로 '볼 수 있게' 돕는 로컬 도구이다

ChatGPT에 유튜브 링크를 입력했을 때 영상의 시각적 내용이 아닌 자막 기반의 요약만 받아본 경험이 있을 것이다. 이는 화면 속의 실제 움직임이나 구체적인 장면은 배제된 채 텍스트 데이터만 처리하는 방식의 한계다. claude-real-video는 장면 전환 기반의 프레임 추출과 오디오 전사를 통해 어떤 LLM이든 영상을 실제로 시청하게 만든다.

이 도구는 URL이나 로컬 파일에서 단순히 초당 프레임을 고정적으로 뽑아내는 방식에서 벗어나, 장면 변화를 감지해 핵심 프레임만 추출하고 중복 프레임을 제거하며 오디오를 전사한다. 정제된 데이터는 Claude, ChatGPT, Gemini 등 모든 LLM이 즉시 읽고 분석할 수 있는 폴더 형태로 생성된다. 모든 과정은 사용자의 머신에서 로컬로 실행되어 외부 서버로 데이터를 업로드하지 않는다.

macOS, Windows, Linux 환경에서 Python 3.10 이상 버전만 갖추면 바로 동작하며, MIT 라이선스를 따라 누구나 자유롭게 설치하고 수정할 수 있다.

장면 변화를 감지해 고정 간격 샘플링의 한계를 극복한다

Gemini를 포함한 기존 파이프라인은 보통 1초당 1프레임(1 fps)과 같은 고정 간격으로 샘플링하는 방식을 취한다. 이 방식은 정적인 화면이 이어지는 스크린캐스트에서는 불필요한 중복 데이터를 과하게 생성하고, 컷 전환이 빠른 릴스 같은 영상에서는 정작 필요한 장면을 놓친다. claude-real-video는 고정 쿼터 방식에서 벗어나 실제 장면 변화를 포착하고 유사한 중복 프레임을 제거함으로써 정보 밀도를 높인다.

실제 분석 단계에서는 도구가 생성한 프레임들과 프레임-시간 정보를 매칭한 메타데이터 파일인 MANIFEST.txt를 LLM에 업로드한다. 모델은 추출된 핵심 프레임을 통해 시각적 내용을 확인하고 전사된 텍스트로 맥락을 읽는다. 특히 `--keep-audio` 옵션을 사용하면 전체 사운드트랙까지 함께 입력하여 시각, 텍스트, 청각 정보를 동시에 활용할 수 있으며, 사용자는 모델이 영상의 어느 시점에서 어떤 시각적 근거로 결론을 내렸는지 명확히 추적할 수 있다.

로컬 전처리 파이프라인으로 분석 비용과 정밀도를 최적화한다

영상 데이터의 물리적 추출을 위해 로컬 환경에서는 ffmpeg(멀티미디어 프레임워크)와 ffprobe(스트림 분석 도구)를 활용한다. 오디오 전사 단계에서는 openai-whisper 기반의 whisper CLI를 통해 영상의 소리를 텍스트로 변환한다. whisper CLI 역시 내부적으로 ffmpeg에 의존하여 작동하므로 전체 파이프라인은 이들 도구의 결합으로 구성된다.

네이티브 멀티모달 업로드 방식은 편리하지만 불필요한 프레임까지 포함되어 컨텍스트 비용이 상승하고 분석 정확도가 떨어지는 문제가 있다. 반면 로컬 전처리를 통해 정제된 프레임과 전사 텍스트만 전달하는 구조는 토큰 소모를 줄이면서도 모델이 반드시 확인해야 할 핵심 장면을 보존해 분석의 정밀도를 높인다.

ChatGPT에 유튜브 링크를 입력해 자막 기반의 요약만 받아본 경험이 있다면, claude-real-video는 그 한계를 지운다. 장면 전환을 감지해 중복을 제거하는 로컬 파이프라인을 통해 어떤 LLM이든 영상의 시각적 맥락을 실제로 시청하게 만든다.

단순한 고정 샘플링을 넘어 의미 있는 프레임만 추출하는 방식은 컨텍스트 비용을 낮추고 분석 정밀도를 높이는 핵심 장치가 된다. 네이티브 멀티모달 업로드의 편의성과 로컬 전처리를 통한 비용 절감 및 정확도 향상 사이의 실익을 따져 도입 여부를 결정한다.