shelter-puppy는 폰 촬영 영상과 자연어 요청을 입력받아 4분 내에 자막과 내레이션이 포함된 9:16 세로 영상을 생성하는 로컬 파이프라인다. 맥북 한 대에서 검출부터 TTS(Text-to-Speech, 텍스트 음성 변환)까지 전 과정이 동작한다.

Gemma(Google의 경량 LLM)는 의미 판단만 수행하며, 실제 픽셀과 프레임 제어는 Python, OpenCV(오픈 소스 컴퓨터 비전 라이브러리), ffmpeg(멀티미디어 프레임워크)가 담당해 결정론적 출력을 구현했다. YOLO11과 ByteTrack으로 객체를 검출·추적하고, DINOv2 임베딩으로 다견 재식별을 수행한다. Qwen3-TTS로 음성을 합성하며 Whisper를 통해 CER(Character Error Rate, 문자 오차율) 게이트 검수를 거친다.

LLM이 생성한 자막은 영상 관찰 기록과 대조해 근거가 없을 경우 재작성함으로써 환각을 통제한다. M4 칩 기준 동작 군판정 정확도는 1.00이며, 전체 생성 시간은 기존 8분에서 4분으로 단축됐다. 해당 프로젝트는 MIT 라이선스로 공개됐다.