100만 토큰 처리와 메모리 비용 절감을 이뤄낸

토큰당 글로벌 KV 캐시(모델이 대화 맥락을 기억하기 위해 저장하는 임시 메모리) 크기를 890바이트까지 낮추면 100만 토큰이라는 방대한 데이터를 비용 효율적으로 처리할 수 있다. DeepSeek가 공개한 DeepSeek-V4.1-Flash는 토큰당 메모리 점유율을 극단적으로 낮춰 고질적인 메모리 병목 현상을 정면으로 돌파했다. 데이터 처리량이 늘어날 때 메모리가 부족해 연산 속도가 느려지거나 추론 비용이 급격히 상승하는 문제를 해결한 것이다.

텍스트뿐만 아니라 이미지까지 기본적으로 처리하는 멀티모달(여러 형태의 정보를 함께 이해하는 방식) 설계가 핵심이다. 자체 개발한 DeepSeek-ViT(이미지를 분석하는 비전 트랜스포머) 인코더와 MLP 프로젝터(데이터 형식을 변환하는 장치)를 통해 이미지를 시각적 임베딩(컴퓨터가 이해하는 숫자 벡터)으로 변환해 처리한다. 이 시각 정보 처리 과정은 언어 모델 학습 초기 단계부터 함께 통합되어 수행됐다.

학습에는 총 45조 개의 토큰으로 구성된 거대 멀티모달 코퍼스(대규모 데이터 집합)가 투입됐다. 특히 전체 학습 과정 중 34조 개의 토큰을 처리한 시점에서 컨텍스트 길이(한 번에 읽고 이해할 수 있는 정보량)를 100만 토큰까지 확장했다. 이를 통해 모델이 한 번에 기억하고 처리할 수 있는 정보의 범위를 대폭 넓히며 대규모 데이터 처리 능력을 확보했다.

기술이 실제로 작동하는 방식

토큰당 글로벌 KV 캐시 크기를 890바이트까지 낮췄다. 데이터 정밀도를 낮춰 메모리 점유율을 줄이는 FP4(4비트 부동소수점) 기반 캐싱과 SWA 경계 재생, 입력 정보를 분석하는 인코더와 답변을 생성하는 디코더를 분리한 CED(인과적 인코더-디코더) 아키텍처를 적용한 결과다. 이전 버전인 DeepSeek-V4-Flash보다 4분의 1 수준이며, 초기 모델인 DeepSeek-V1과 비교하면 약 437분의 1로 줄어든 수치다.

총 40개의 트랜스포머 층을 인코더 20개와 디코더 20개로 나누어 설계했다. 입력 데이터를 처리하는 프리필 단계에서는 80억 개의 파라미터만 쓰고, 답변을 생성하는 디코더 단계에서는 160억 개를 활성화한다. 특히 각 층에서 KV 캐시를 따로 만들지 않고 최종 인코더의 은닉 상태에서 한 번에 투영해 가져오는 방식을 썼다. 이렇게 단계별로 필요한 계산 자원만 골라 써서 에이전트 작업의 비용 효율을 높였다.

확인해야 할 핵심 지점

1부터 100 사이의 정수 값 하나로 추론 비용과 답변 정확도의 균형점을 실시간으로 결정한다. DeepSeek-V4.1-Flash는 추론 노력(Reasoning Effort, AI가 정답을 내기 위해 투입하는 계산 자원)을 조절할 수 있는 기능을 제공하며 이는 실무적으로 가장 유용한 지점이다. 개발자는 서비스 요구 사항에 따라 비용을 낮춰 응답 속도를 높일지, 아니면 비용을 더 지불하더라도 정확도를 극대화할지를 실시간으로 판단해 정수 설정값을 변경할 수 있다.

추론 과정에서 발생하는 메모리 비용을 획기적으로 낮춘 점이 실제 서비스 환경의 제약을 덜어낸다. 초거대 모델이 가진 지능을 그대로 유지하면서도 100만 토큰(AI가 한 번에 읽고 처리하는 텍스트 분량)의 긴 문맥을 활용하는 AI 에이전트 구현 문턱이 크게 낮아졌다. 방대한 데이터를 다루는 에이전트를 실제 서비스에 적용할 때 발생하는 메모리 부담을 줄여 구현 가능성을 높인 결과다. 이는 고성능 모델의 지능과 대규모 데이터 처리 능력을 동시에 확보해야 하는 환경에서 실질적인 기여를 한다.

100만 토큰 규모의 데이터를 처리하는 에이전트를 구현한다면, 추론 노력 수치를 1에서 100 사이로 조정하며 서비스 목적에 맞는 최적의 비용-성능 지점을 찾아 설정하는 것이 실무적인 기준이 된다.