단일 GPU로 304B 모델 구동하는 최적화 패치

Docker Compose 스택과 SHA-256 핀 고정 파일 오버레이를 통해 DeepSeek-V4-Flash-0731 모델을 AMD MI300X GPU 1대에서 프로덕션 수준으로 구동하는 설정이 공개됐다. 304B 파라미터를 가진 이 모델은 별도의 가중치 양자화나 오프로딩 없이 그대로 실행된다. vLLM ROCm 나이틀리 버전과 AITER를 기반으로 하며, 모델 캐시만 약 156GB를 차지하는 대규모 환경이다.

가장 핵심적인 수정 사항은 하드웨어 특성에 맞춘 커널 튜닝이다. MI300X의 FP8 포맷 호환성, 고동시성 환경에서의 MoE(Mixture of Experts) 라우팅, 인과적 추측 검증(Causal Speculative Verification), CPU-KV 동기화 문제를 해결하는 패치가 포함됐다. 특히 MoE 비트매트릭스 커널에서 패딩 레인이 논리적 블록 크기가 아닌 글로벌 텐서 경계에 맞춰 마스킹되던 오류를 수정해, 긴 프롬프트에서 도구 이름이 잘못 매칭되거나 스키마를 잊어버리는 현상을 잡았다.

성능 측정 결과, 튜닝된 커널을 적용했을 때 캐시되지 않은 프리필(Prefill) 속도는 스케줄러 예산에 따라 초당 7.9K에서 8.5K 토큰에 도달했다. 지연 시간 격리를 위해 2,048토큰 예산을 설정한 프로덕션 프로필에서는 초당 6,988~7,019 토큰의 속도를 보였다. 특히 52K의 콜드 프리필 작업 뒤에 대기 중인 짧은 요청의 TTFT(첫 토큰 생성 시간)를 8.2초에서 0.5초로 크게 낮춘 점이 확인됐다.

HBM 용량 기반의 하드웨어 채택 흐름과 비용 효율

192GB의 HBM3 메모리와 5.3TB/s의 메모리 대역폭을 갖춘 MI300X의 하드웨어 제원은 대규모 모델의 배포 전략을 바꾼다. 이는 NVIDIA H100 SXM5의 HBM 용량보다 약 2.4배 많은 수준이다. Doubleword의 분석에 따르면 MI300X의 리스트 가격은 H100의 절반 수준으로 추산된다. 결과적으로 304B 규모의 체크포인트를 여러 대의 GPU에 분산하지 않고 단일 GPU에 배포할 수 있는 선택지가 생긴 셈이다.

현재 vLLM의 공식 레시피는 주로 NVIDIA 하드웨어나 MI325X, MI355X 같은 최신 AMD GPU를 타겟으로 한다. 하지만 이번에 공개된 설정은 MI300X 단일 장치에서 0731 체크포인트를 안정적으로 돌리기 위한 구체적인 프로덕션 구성안을 제시한다. 이는 최신 칩셋으로의 전면 교체 없이 기존 MI300X 자원을 활용해 대형 모델을 서비스하려는 기업에 실질적인 경로를 제공한다.

실무자가 검증해야 할 FP8 호환성과 메모리 임계점

실제 배포 환경에서 가장 주의 깊게 살펴야 할 지점은 FP8 포맷의 해석 방식이다. MI300X(CDNA3)는 AMD/Graphcore fnuz 변형 E4M3를 구현하는 반면, MI325X 이후 모델은 OCP 표준 FP8을 사용한다. 만약 MI300X에서 OCP 시맨틱을 가정하는 커널을 사용하면 스케일 영역에서 최대 2배의 오차가 발생할 수 있다. 이번 패치는 ROCm 환경에서 float8e4b8와 셔플된 쓰기 오프셋을 선택해 이 정밀도 문제를 해결했다.

메모리 관리 측면에서는 그래프 캡처 후 `rocm-smi --showmeminfo vram` 명령어로 확인되는 하이워터마크(High-water mark) 수치가 중요하다. 웜업 상태에서 약 204.5GB(전체 205.8GB 중)의 VRAM이 점유되며, 남은 용량이 수백 MB 수준으로 너무 적으면 서버는 시작되더라도 첫 번째 요청에서 실패할 가능성이 크다. 따라서 가용 메모리 임계점을 정밀하게 모니터링하는 과정이 필수적이다.

결국 이번 사례는 하드웨어의 절대적인 메모리 용량이 모델 배포의 복잡성을 어떻게 낮추는지 보여준다. 한국의 AI 실무자들은 모델의 파라미터 크기에 맞춰 GPU 대수를 늘리는 방식 외에도, MI300X처럼 HBM 용량이 큰 단일 장치와 그에 최적화된 커널 패치를 조합해 인프라 비용을 절감하는 방향을 검토할 수 있다.