토큰 88% 절감과 비용 66% 감소, Gemini Flash 라인업 적용

비디오 분석 시 토큰 소비량을 최대 88% 줄이고 비용을 최대 66% 절감하는 수치는 고해상도 영상 처리 비용 때문에 분석 범위를 제한하던 개발자의 선택지를 바꾼다. 구글은 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 모델에 에이전틱 비디오 분석 기능을 도입했다. 에이전틱 비디오 분석은 모델이 영상 전체를 일률적으로 읽지 않고 필요한 구간을 동적으로 스캔하는 방식이다. 이 기능은 API(응용 프로그램 인터페이스, 소프트웨어 간 통신 규칙) 설정에서 처리 방식을 `agentic`으로 변경하는 것만으로 활성화된다.

Gemini 3.7 Flash 모델을 기준으로 에이전틱 비디오 분석을 적용하면 토큰(모델이 데이터를 처리하는 기본 단위) 소비가 최대 88% 감소하며 분석 정확도는 최대 7% 향상된다. 이는 기존의 정적 분석 방식보다 적은 자원을 사용하면서도 영상 내용에 기반한 복잡한 질문에 더 정확하게 답할 수 있는 성능을 갖췄음을 보여준다. 지원 대상은 사용자가 직접 업로드한 비디오 파일과 YouTube 영상이다. Gemini 3.7 Flash뿐만 아니라 3.6 Flash와 3.5 Flash-Lite 모델에서도 동일하게 에이전틱 분석 기능을 사용할 수 있다.

해당 기능은 Google AI Studio(구글의 AI 모델 프로토타이핑 도구)와 Gemini Enterprise Agent Platform(기업용 AI 에이전트 구축 플랫폼)을 통해 제공된다. 개발자는 Gemini API를 통해 이 기능을 호출하며, 설정값 변경만으로 즉시 적용할 수 있다. 비용 체계는 표준 Gemini API 토큰 가격을 그대로 적용하며 에이전틱 기능 사용에 따른 별도의 추가 요금은 없다. 결과적으로 토큰 소비량의 감소가 API 호출 비용의 직접적인 감소로 연결되는 구조다.

Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 세 모델 모두에서 에이전틱 비디오 분석을 지원함으로써 모델 크기와 목적에 맞는 효율적인 영상 분석 환경을 구축할 수 있다. 특히 Gemini 3.7 Flash는 토큰 감소와 정확도 향상이라는 두 가지 지표에서 구체적인 성능 개선 수치를 기록했다. 사용자는 Google AI Studio나 Gemini Enterprise Agent Platform의 API 설정 창에서 processing 항목을 `agentic`으로 지정하여 이 기능을 활성화한다. 이를 통해 YouTube 영상이나 업로드된 비디오 내의 특정 정보를 찾을 때 발생하는 비용 부담을 낮출 수 있다.

구글 딥마인드의 제품 관리자와 연구 책임자가 발표한 이번 업데이트는 Gemini Flash 라인업 전체에 적용되어 비디오 이해 능력을 최적화한다. 사용자는 API 설정의 configuration 단계에서 처리 모드를 선택함으로써 정적 분석과 에이전틱 분석 사이의 효율성을 직접 제어할 수 있다. Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 모델은 각각의 성능 계층에서 동일한 에이전틱 비디오 분석 메커니즘을 공유하며, 이를 통해 영상 데이터 처리의 경제성을 확보한다.

정적 FPS 방식에서 동적 스캔 루프로의 전환

API를 통해 비디오를 분석하는 개발자는 기존의 정적 처리 방식에서 벗어나 모델이 스스로 필요한 구간을 찾는 에이전틱 방식으로 설정을 변경할 수 있다. 정적 처리(Static processing)는 기본적으로 초당 1프레임(FPS)이라는 고정된 비율로 영상 데이터를 읽어 들이는 방식이다. API 설정을 통해 이 비율을 조정할 수는 있지만, 영상 전체를 동일한 밀도로 섭취해야 한다는 기본 구조는 변하지 않는다. 반면 에이전틱 비디오 이해는 모델의 핵심 추론 능력과 내장된 비디오 도구를 결합해 목표 구간을 동적으로 검색하고 스캔하며 정밀하게 검사한다. 이는 영상 전체를 훑는 대신 필요한 지점을 정확히 짚어내는 능동적인 분석 체계로의 전환을 의미한다.

모델은 분석 대상의 성격에 따라 시각 프레임과 오디오, 그리고 트랜스크립트(자막이나 대본)라는 세 가지 경로를 선택적으로 활용한다. 모든 데이터를 일괄적으로 읽는 대신, 특정 목표를 달성하기 위해 어떤 모달리티(Modality, 데이터의 형태나 종류)를 통해 정보를 얻을지 스스로 결정하는 구조다. 예를 들어 특정 인물의 발언 시점을 찾아야 한다면 트랜스크립트를 먼저 빠르게 훑고, 해당 발언 당시의 표정이나 주변 상황이라는 시각적 증거가 필요할 때만 해당 구간의 프레임을 정밀하게 읽어 들인다. 모델은 무엇을, 어떤 속도로, 어떤 형태로 볼지 스스로 결정하여 분석에 꼭 필요한 신호만 추출하며 불필요한 데이터 섭취를 최소화한다.

구현의 핵심은 에이전틱 루프(Agentic loop, 목표 달성을 위해 계획과 실행 및 평가를 반복 수행하는 과정)의 도입이다. 모델은 내부 도구를 호출하여 비디오 파일의 관련 부분만 로드하는 과정을 반복하며 정답에 접근한다. 이전까지의 개발 환경에서는 영상 전처리 단계에서 특정 구간을 수동으로 추출하거나, 프레임 샘플링 비율을 계산해 적용하는 로직을 직접 코드로 구현해야 했다. 하지만 에이전틱 비디오 이해 체계에서는 모델이 스스로 내부 도구를 호출해 필요한 시점의 데이터를 요청하고 가져오는 과정을 반복한다. 이 과정에서 개발자가 직접 관리하던 영상 전처리 및 구간 추출 로직의 오버헤드가 제거된다.

해당 기능을 적용하려면 API configuration의 `processing` 설정을 `agentic`으로 지정하면 된다. 설정값이 `agentic`으로 변경되면 모델은 더 이상 고정된 FPS로 영상을 읽지 않고 목표 지향적인 스캔 루프를 가동한다. 내부적으로는 비디오 파일의 메타데이터와 인덱스를 탐색하고, 분석 목적에 부합하는 프레임과 오디오 세그먼트를 동적으로 로드하는 도구 호출 과정이 수행된다. 모델은 이 루프를 통해 필요한 구간을 찾고, 다시 그 구간을 정밀하게 검사하며, 결과가 불충분할 경우 다시 검색 범위를 조정하는 능동적인 추론 과정을 거친다. 이를 통해 방대한 영상 데이터 속에서도 분석 효율을 극대화하며 정밀한 정보 추출이 가능해진다.

LongVideoBench 및 니들-인-어-헤이스택 성능 비교

Gemini 3.7 Flash는 에이전틱 분석을 적용했을 때 정확도와 비용 효율의 최적 접점인 파레토 프론티어(Pareto frontier, 어느 한 쪽의 성능을 희생하지 않고는 다른 쪽을 개선할 수 없는 최적의 상태)에 위치한다. LongVideoBench(장편 비디오 이해 벤치마크) 테스트 결과, 에이전틱 방식을 사용하면 토큰 소모량을 줄이면서도 동시에 분석 정확도를 높이는 결과가 확인되었다. 이는 기존의 정적 분석 방식이 모든 프레임을 일률적으로 처리하며 불필요한 토큰을 낭비하던 한계를 극복한 결과다. 특히 니들-인-어-헤이스택(Needle-In-A-Haystack, 방대한 데이터 속에서 아주 작은 특정 정보를 찾아내는 테스트) 검색 시 정적 분석 대비 토큰 소모량이 현저히 낮게 측정되었다. 모델이 영상 전체를 무작정 읽는 대신 필요한 부분만 골라 읽는 전략을 취했기 때문이다.

이러한 효율성은 동적 FPS(초당 프레임 수) 적용을 통한 정밀 분석 능력에서 기인한다. 모델은 영상 전체를 고정된 비율로 읽는 대신, 분석 목표에 따라 필요한 구간의 프레임 수를 유연하게 조절한다. 빠른 속도의 움직임이 포함된 구간을 먼저 빠르게 스캔하고, 중요한 이벤트가 발생한 지점을 포착하면 해당 구간을 다시 세밀하게 시청하는 루프를 수행한다. 이 과정을 통해 영상 속 객체의 정확한 개수를 측정하거나 1초 미만의 아주 짧은 순간을 정확히 찾아내는 세밀한 작업이 가능해졌다. 이는 단순한 영상 섭취를 넘어 모델이 스스로 분석 전략을 세우고 실행하는 에이전틱 루프의 결과물이다.

Gemini 3.7 Flash는 지원되는 모델들 중 전반적인 분석 품질이 가장 높으며 비용 효율성 또한 최상위 수준으로 나타났다. 품질과 비용이라는 두 가지 상충하는 지표 사이에서 최적의 조합을 제공함으로써, 대규모 영상 데이터를 처리해야 하는 엔지니어링 환경에서 실질적인 선택지를 제공한다. 정적 처리 방식에서는 높은 정확도를 얻기 위해 막대한 토큰 비용을 감수하거나, 비용을 줄이기 위해 프레임을 대폭 삭제해 중요한 디테일을 놓치는 선택지 중 하나를 골라야 했다. 하지만 에이전틱 분석이 적용된 Gemini 3.7 Flash는 필요한 신호만 정밀하게 추출하여 이러한 제약을 해결한다.

결과적으로 이번 벤치마크는 모델의 추론 능력과 네이티브 비디오 도구가 결합되었을 때의 시너지를 보여준다. 단순한 모델 크기의 확장이 아니라, 비디오를 읽는 방식 자체를 동적으로 전환함으로써 성능과 비용의 균형을 맞춘 것이다. Gemini 3.7 Flash는 이러한 구조적 이점을 통해 장편 영상의 복잡한 맥락을 파악하면서도 자원 소모를 최소화하는 성능 지표를 기록했다. 이는 고해상도나 장시간 영상 분석에서 발생하는 비용 부담을 낮추는 동시에 분석의 정밀도를 유지할 수 있는 기술적 근거가 된다.

10분 가이드부터 수 시간 녹화본까지, 장편 영상 처리의 변화

10분 길이의 하우투 가이드부터 90분 분량의 강의, 수 시간의 녹화물까지 장편 영상 처리 시 모델이 필요한 구간을 스스로 결정해 읽는다. 기존의 영상 처리 방식은 모든 프레임을 일정한 간격으로 읽어 들이는 정적 처리 구조였다. 이 때문에 개발자는 막대한 토큰 비용을 감수하며 전체 데이터를 입력하거나, 비용 절감을 위해 프레임을 대폭 삭제하여 정작 중요한 디테일을 놓치는 극단적인 선택지 사이에서 고민해야 했다. 영상의 길이가 길어질수록 토큰 소모량이 선형적으로 증가하여, 수 시간 분량의 영상을 분석하려면 천문학적인 비용이 발생하거나 분석 품질을 심각하게 낮춰야 하는 제약이 있었다.

모델이 스스로 무엇을 어떤 속도로 볼지, 그리고 어떤 모달리티(프레임, 오디오, 스크립트 등 정보의 형태)를 활용해 신호를 추출할지 직접 결정한다. 전체 영상을 빠르게 훑으며 맥락을 파악한 뒤, 정밀한 분석이 필요한 특정 구간만 다시 찾아 들어가 세부 내용을 확인하는 방식으로 작동한다. 예를 들어 오디오나 트랜스크립트에서 핵심 키워드가 감지되면 해당 시점의 시각 프레임을 고해상도로 다시 검사하는 식이다. 필요한 정보가 포함된 구간만 선택적으로 로드하여 처리하므로 전체 영상을 모두 읽을 때보다 데이터 섭취량을 획기적으로 줄이면서도 정확도는 유지한다. 모델이 분석 목표에 따라 데이터 접근 방식을 직접 제어하며 처리 효율을 높인다.

개발자가 직접 구현해야 했던 영상 전처리 및 구간 추출 로직의 오버헤드(추가적인 연산 비용이나 복잡도)가 제거된다. 이전에는 특정 정보가 등장하는 시점을 찾기 위해 외부 라이브러리로 자막을 먼저 분석하고, 해당 타임스탬프의 영상 구간을 물리적으로 잘라 별도의 파일로 저장한 뒤 모델에 다시 전달하는 수동 파이프라인을 구축해야 했다. 이제는 이러한 외부 전처리 단계 없이 모델이 내부 도구를 호출해 관련 부분만 로드하는 에이전틱 루프(목표 지향적 반복 수행)를 통해 작업을 완결한다. 이는 영상 파일을 쪼개고 관리하던 스토리지 비용과 API 호출 횟수를 줄여 구현 단계의 복잡성을 낮춘다.

이러한 변화는 방대한 양의 영상 데이터에서 특정 정보를 찾아내야 하는 니들-인-어-헤이스택(건초더미에서 바늘 찾기) 작업에서 실질적인 이득을 준다. 수 시간 분량의 회의 녹화본에서 특정 의사결정이 내려진 찰나의 순간을 찾거나, 긴 강의 영상에서 특정 개념이 설명된 구간만 정확히 추출해 요약하는 작업의 효율이 극대화된다. 개발자는 더 이상 프레임 샘플링 비율을 조정하며 정확도와 비용 사이의 타협점을 찾는 지루한 반복 작업에 시간을 쓰지 않아도 된다. 분석 목표에 따라 모델이 스스로 최적의 경로를 탐색하므로, 운영 비용 절감과 개발 생산성 향상이 동시에 이루어지는 구조다.

Gemini 앱 및 YouTube 'Ask YouTube'로의 확장

Gemini 앱에서 Flash 및 Flash-Lite 모델을 사용하는 모든 사용자에게 에이전틱 비디오 이해 기능이 곧 배포된다. 에이전틱 비디오 이해는 모델이 고정된 간격으로 영상을 훑는 정적 방식에서 벗어나, 스스로 필요한 구간을 선택해 다시 확인하는 능동적 분석 방식이다. 이 기능이 적용되면 일반 사용자는 긴 영상 속에서도 특정 시각 정보에 기반한 정밀한 답변을 빠르게 얻을 수 있다. API 환경에서 먼저 검증된 토큰 효율성과 분석 품질의 개선 사항이 일반 사용자 서비스로 직접 전이되는 과정이다. 이는 모델의 추론 능력이 단순한 텍스트 생성을 넘어 시각적 데이터의 탐색 제어권까지 가졌음을 의미하며, 상대적으로 가벼운 Flash-Lite 모델에서도 고품질의 비디오 분석이 가능해짐을 뜻한다.

YouTube 시청 페이지에 탑재된 Ask YouTube 기능에도 향후 몇 달 내에 에이전틱 비디오 이해 기술이 순차적으로 적용된다. Ask YouTube는 사용자가 시청 중인 영상의 내용을 질문하면 AI가 답을 주는 기능이다. 새로운 기술이 적용되면 모델은 영상의 자막이나 오디오뿐만 아니라 실제 시각적 프레임을 정밀하게 분석하여 답변의 근거로 삼는 시각적 그라운딩을 수행한다. 예를 들어 영상 속 빠른 움직임이나 세밀한 객체의 변화를 모델이 스스로 스캔하고 재시청함으로써 답변의 정확도를 높인다. 수십억 명의 사용자가 이용하는 플랫폼에 에이전틱 루프, 즉 목표 달성을 위해 추론과 도구 호출을 반복하는 구조가 통합되어 비디오 기반 질의응답의 품질이 상향 평준화되는 결과로 이어진다.

국내 AI 실무자와 엔지니어는 이제 비디오 분석 시스템을 설계할 때 토큰 비용과 분석 정밀도 사이의 제로섬 게임을 고민할 필요가 없다. 10분 길이의 짧은 튜토리얼부터 수 시간 분량의 회의 녹화본까지, 고비용의 토큰 소모 없이도 세부 디테일을 유지하며 분석할 수 있는 기술적 토대가 마련되었기 때문이다. 특히 대량의 비디오 데이터를 처리해야 하는 기업용 에이전트 환경에서는 모든 프레임을 읽어 들이는 정적 분석 방식의 비용 부담이 가장 큰 진입 장벽이었다. 따라서 분석 비용을 낮추면서도 니들-인-어-헤이스택(방대한 데이터 중 특정 정보 찾기) 수준의 정밀도를 확보하려는 경우, Google AI Studio 또는 Gemini Enterprise Agent Platform의 API 설정에서 processing 값을 `agentic`으로 변경하여 적용하는 것이 가장 확실한 비용-성능 최적화 기준이다.