facts

NAND 플래시 스토리지를 GPU 메모리처럼 확장해 사용하는 방식이 이번에 공개된 NeuralMesh 6의 핵심이다. Weka는 소프트웨어 플랫폼인 NeuralMesh 6와 함께 자체 설계 하드웨어 라인인 Wekapod 3를 함께 출시했다. 이 시스템은 'Augmented Memory Grid(AMG)'라는 접근법을 통해 상대적으로 저렴한 NAND 플래시를 집계하여 GPU 메모리와 유사하게 작동하도록 구현했다.

멀티 테넌시 구조에서는 하드웨어 수준의 격리를 제공하는 '컴포저블 클러스터(Composable Clusters)'와 네트워크 수준의 격리를 제공하는 '가상 멀티 테넌시(Virtual Multi-tenancy)'를 동시에 지원한다. 가상 멀티 테넌시는 Weka의 RDMA(Remote Direct Memory Access) 패브릭을 통해 작동하며, 클러스터당 1,000명 이상의 테넌트를 수용하고 프로비저닝에 30분 미만이 소요된다. 이를 결합하면 50개의 컴포저블 클러스터가 포함된 단일 클러스터에서 최대 50,000명의 테넌트를 지원할 수 있다.

데이터 경로의 효율화를 위해 파일 스토리지와 오브젝트 스토리지를 하나로 통합했다. 기존 시스템은 파일 기반 경로(학습 및 미세 조정용)와 오브젝트 기반 경로(S3, 추론 및 클라우드 네이티브 도구용)를 별도로 운영하며 게이트웨이를 통해 변환하는 과정에서 데이터가 중복 저장되는 문제가 있었다. NeuralMesh 6는 단일 물리 데이터에 대해 두 경로 모두에서 직접 읽기가 가능하도록 설계해 변환 계층과 복제본을 제거했다. Weka는 Lambda, Nebius, G42, CoreWeave 등 비 AWS GPU 클라우드를 주요 타깃으로 하며, 기존 S3 대비 약 100배(two orders of magnitude) 높은 성능과 API 호출 횟수가 아닌 용량 기반 가격 모델을 제시했다.

how-it-works

LLM(대규모 언어 모델)의 추론 과정은 크게 두 단계로 나뉜다. 입력값의 어텐션(Attention)을 계산하는 '프리필(Prefill)' 단계와 계산 결과를 출력으로 변환하는 '디코드(Decode)' 단계다. 프리필은 연산 비용이 매우 높지만, 디코드는 상대적으로 가볍다. 문제는 멀티턴(Multi-turn) 대화나 코딩 작업처럼 이전 맥락을 계속 유지해야 하는 세션에서 발생한다. 이전 단계에서 계산된 정보가 캐싱되지 않으면, 새로운 턴이 시작될 때마다 이전의 모든 내용을 다시 프리필해야 한다.

Weka가 설명한 계산 낭비의 수치는 구체적이다. 캐싱이 없을 때 10번의 대화 턴이 진행되면 최대 100번의 중복 계산이 발생하며, 20번의 턴이 진행되면 400번까지 늘어난다. Augmented Memory Grid는 이 과정에서 발생하는 사전 계산 토큰(KV 캐시)의 100%를 GPU 메모리가 아닌 NAND 플래시에 저장한다. 공유 메모리에 할당할 수 있는 비용보다 훨씬 많은 양의 NAND를 투입해, 모델이 동일한 정보를 다시 계산할 필요 없이 스토리지에서 즉시 불러오게 만드는 구조다.

스토리지 계층의 비용과 성능 최적화는 'AlloyFlash'와 'Always-On 데이터 감소' 기능을 통해 처리한다. 속도가 빠르고 내구성이 높지만 비싼 TLC(Triple-Level Cell) 플래시와, 속도는 느리지만 용량 대비 저렴한 QLC(Quad-Level Cell) 플래시를 단일 클러스터 내에 혼합 배치한다. 시스템은 지연시간에 민감한 작업은 TLC로, 대용량 워크로드는 QLC로 자동 라우팅하여 성능 저하 없이 테라바이트당 비용을 낮춘다. 데이터 감소 기능은 옵션이 아닌 기본 설정으로 작동하여 저장 효율을 높였다.

implementation-impact

데이터 복제 방식의 변화는 인프라 배포 속도에 직접적인 영향을 준다. '메타데이터 우선 복제(Metadata-first replication)' 방식을 도입해, 전체 데이터 복사가 완료되기 전에도 대상 환경에서 데이터를 브라우징할 수 있게 했다. 실제 데이터는 액세스가 발생할 때만 하이드레이션(Hydration)되는 방식이다. 기존에는 데이터 이전 완료까지 수일에서 수주, 길게는 한 달까지 소요되었으나, 이 방식을 통해 새로운 GPU 할당 후 1시간 이내에 서비스를 가동할 수 있다.

이러한 기술적 변화는 특히 긴 컨텍스트 윈도우를 사용하는 내부 코파일럿, 고객 서비스 에이전트, 소프트웨어 엔지니어링 어시스턴트, RAG(Retrieval-Augmented Generation) 시스템을 구축하는 기업에 유효하다. GPU 메모리 부족으로 인해 추론 비용이 급증하거나 응답 지연이 발생하는 환경에서, 고가의 GPU 메모리를 증설하는 대신 저렴한 플래시 스토리지를 통해 KV 캐시를 확장함으로써 인프라 효율을 높일 수 있기 때문이다.

실무자는 GPU 메모리 용량 제한으로 인해 컨텍스트 길이를 제한하거나 잦은 재계산으로 인한 추론 지연시간(Latency)이 발생하는지 확인해야 하며, 특히 멀티턴 대화 비중이 높은 워크로드에서 KV 캐시의 외부 저장 가능 여부를 통해 GPU 추가 도입 비용을 절감할 수 있는지 판단해야 한다.