Vistara ASIC과 MemServer의 기술 제원

Meta가 구형 DDR4 메모리를 최신 DDR5 서버 환경에서 재사용하기 위해 맞춤형 ASIC(주문형 반도체)인 'Vistara'를 개발했다. 이번 솔루션의 핵심은 서버의 기대 수명(3~5년)보다 긴 메모리의 유효 수명(7~10년) 차이를 이용해, 폐기될 DDR4 DIMM을 최신 서버의 추가 메모리 풀로 활용하는 것이다. Meta 서버 플릿의 약 40%가 메모리 증설이 불가능한 구조라는 점이 이번 개발의 배경이 됐다.

Vistara ASIC은 DDR4 메모리를 호스트 프로세서에 연결하는 CXL(Compute Express Link) 브리지 역할을 수행한다. 인터페이스는 CXL 2.0 및 1.1과 호환되는 PCIe Gen5 x16을 사용한다. 각 Vistara 칩은 독립적인 72비트 DDR4 메모리 채널 2개를 갖추고 있으며, 최대 3,200 MT/s의 속도를 지원한다. 64GB DIMM을 사용할 경우 칩당 최대 256GB의 메모리를 확보할 수 있으며, ASIC 내부 구동을 위해 2개의 맞춤형 RISC-V 프로세서가 탑재됐다.

이 하드웨어가 탑재된 서버인 'MemServer'는 AMD Turin 프로세서(158코어, 316스레드)를 기반으로 한다. 기본적으로 768GB의 DDR5 메모리를 탑재하고, Vistara ASIC을 통해 연결된 256GB의 DDR4 메모리를 추가로 사용한다. Vistara CXL 카드는 섀시 내부의 후면 접근 전용 슬롯에 설치되며, 고밀도 메모리와 CXL 장치에서 발생하는 열을 처리하기 위해 고용량 팬과 지향성 공기 흐름을 이용한 직접 냉각 방식을 적용했다.

CXL 브리지 작동 방식과 소프트웨어 구조

Vistara는 기존 CXL 솔루션이 DRAM과 컨트롤러를 일체형으로 묶어 DIMM 재사용이 어렵고 DDR4 지원이 부족했던 제약을 우회하도록 설계됐다. 하드웨어적으로는 PCIe Gen5 x16 인터페이스를 통해 호스트와 통신하며, 소프트웨어 계층에서는 DDR4 메모리를 OS에 'CPU 없는 별도의 NUMA(Non-Uniform Memory Access) 노드'로 노출한다.

이 구조에서 프로세서에 직접 연결된 로컬 DDR5 DRAM 노드와 Vistara를 통해 연결된 DDR4 노드는 물리적·논리적으로 분리된다. Meta의 플랫폼은 메모리 접근 우선순위를 설정하여, 사용 가능한 로컬 DDR4(DDR5)를 먼저 소진한 뒤 추가 용량이 필요할 때만 CXL 기반의 DDR4 메모리를 사용하는 계층적 구조를 취한다. 이를 통해 CXL 도입 시 우려되는 높은 지연시간과 대역폭 저하 문제를 최소화한다.

드라이버 수준에서는 Linux CXL 드라이버 코드를 사용하며, 해당 코드는 이미 업스트림 커널에 포함되었거나 포함 절차가 진행 중이다. 이를 통해 별도의 독자적인 드라이버 스택 없이 표준 커널 환경에서 CXL 확장 메모리를 관리하고 제어할 수 있도록 구현했다.

워크로드 적용 결과와 운영 영향

실제 인프라 운영에서 가장 먼저 나타나는 변화는 메모리 부족(OOM, Out of Memory)으로 인한 작업 실패율의 감소다. Meta는 Vistara 기반 CXL 구성을 수백만 대 규모의 하이퍼스케일 인프라에 적용했으며, 특히 테라바이트 및 페타바이트 규모의 데이터셋을 다루는 Spark, Hive 같은 빅데이터 도구에서 효과를 확인했다. 이러한 워크로드는 작업당 수백 GB의 메모리를 요구하는데, CXL로 확장된 메모리 여유분 덕분에 OOM 이벤트로 인한 작업 실패, 재시작, 리소스 단편화 오버헤드가 33% 감소했다.

분리형 ML 추론(Disaggregated ML Inference) 워크로드에서는 더 구체적인 수치가 나타났다. 추천 시스템의 임베딩 테이블과 같이 대규모 메모리가 필요한 추론 작업에서 메모리 효율이 높아짐에 따라, 필요한 전체 서버 수를 최대 25%까지 줄일 수 있었다. 이는 하드웨어 구매 비용뿐만 아니라 전력 및 상암 공간 비용의 절감으로 이어진다.

실무적으로 이 솔루션은 다음과 같은 특정 워크로드에서 유효한 판단 기준을 제공한다. 첫째, 빅데이터 처리 및 분산 캐시와 같이 절대적인 메모리 용량이 성능보다 우선되는 환경이다. 둘째, 데이터베이스나 CI/CD 빌드 시스템처럼 간헐적으로 메모리 피크가 발생해 OOM 위험이 큰 시스템이다. 셋째, 최신 DDR5의 높은 가격 부담을 피하면서 기존 DDR4 자산을 활용해 인프라 밀도를 높여야 하는 하이퍼스케일 운영 환경이다.