발표에서 확인된 핵심 사실

고성능 GPU를 구하기 위해 수개월을 대기하거나 예산을 초과하는 비용을 지불하는 상황은 이제 AI 인프라를 구축하는 기업들의 일상이 됐다. 특정 벤더의 칩에 의존하는 락인 효과로 인해 하드웨어 선택지가 좁아지면 인프라 확장 비용은 기하급수적으로 상승한다. 인프라 운영자가 단일 벤더의 공급 일정에 사업 계획을 맞추는 제약을 해결하기 위해 프랑스 AI 스타트업 ZML이 다양한 칩에서 추론 성능을 최적화하는 ZML/LLMD를 출시했다.

ZML/LLMD는 여러 종류의 오픈소스 거대언어모델(LLM, Large Language Model)이 서로 다른 하드웨어 환경에서도 효율적으로 구동되게 만드는 추론 서버다. 이 소프트웨어는 엔비디아(Nvidia)는 물론 AMD, 구글 TPU(Tensor Processing Unit), 애플 메탈(Apple Metal), 인텔 아크(Intel Arc) 등 서로 다른 아키텍처를 가진 칩들을 모두 지원한다. 하드웨어 간의 장벽인 사일로를 제거해 어떤 칩을 사용하더라도 해당 하드웨어가 낼 수 있는 최대 추론 속도를 구현하는 것이 이 기술의 핵심이다.

기술적 신뢰도는 업계 주요 인물들의 강력한 지지가 뒷받침한다. 튜링상 수상자인 얀 르쿤(Yann LeCun)과 도커(Docker) 창립자 솔로몬 하이크스(Solomon Hykes), 그리고 허깅페이스(Hugging Face)의 공동 창립자인 클레망 들랑게(Clément Delangue)와 줄리앙 쇼몽(Julien Chaumond)이 ZML의 행보를 지지한다. 캡 테이블(Cap table, 주주 명부)에 기록된 이들의 참여는 유럽 AI 스타트업이 외부 자본이나 기술에 의존하지 않고 자국 내에서도 글로벌 경쟁력을 갖춘 솔루션을 개발할 수 있음을 증명한다.

Google TPU, Apple Metal, Intel Arc

인프라 구축에 수개월을 투자해도 최적의 칩셋 선택지는 빠르게 바뀐다. ZML/LLMD는 Nvidia와 AMD를 넘어 Google TPU, Apple Metal, Intel Arc 등 서로 다른 아키텍처의 칩에서 오픈소스 LLM의 추론 성능을 극대화한다. 그동안 프롬프트를 처리하는 추론 최적화는 모델 학습보다 중요도가 높아졌음에도 불구하고, 소프트웨어와 아키텍처의 장벽으로 인해 파편화된 형태로 진행되었다. ZML/LLMD는 특정 하드웨어 제조사에 종속되어 다른 제품으로 옮기기 어려운 벤더 록인(vendor lock-in) 문제를 해결해 다양한 칩셋에서 피크 성능을 구현한다.

추론 시장의 주도권을 잡기 위한 경쟁은 기업 가치 130억 달러를 인정받은 Baseten을 비롯해 Inferact(vLLM, 오픈소스 추론 엔진), RadixArk(SGLang, 구조화된 생성 언어) 같은 기업들 사이에서 격렬하게 벌어진다. ZML은 단순한 소프트웨어 최적화 도구를 제공하는 경쟁사들과 궤를 달리하며 더 넓은 스펙트럼의 목표를 설정한다. 칩 설계 단계부터 소프트웨어 최적화를 함께 진행하는 실리콘 공동 설계(co-designing silicon) 방식을 도입한다. 이러한 접근은 단순한 런타임 최적화를 넘어 하드웨어의 물리적 설계와 소프트웨어 스택을 동시에 최적화하는 전략이다. 하드웨어와 소프트웨어의 경계를 허물어 인프라 비용 절감을 위한 벤더 다변화 시 소프트웨어 수정 비용을 최소화하며 칩을 교체하는 기술적 판단 기준을 제공한다.

기업과 클라우드가 비용과 에너지 효율이 높은 칩을 선택해

최고 성능의 AI 구현을 위해 반드시 가장 비싼 칩만 고집할 필요는 없다. ZML은 기업과 클라우드가 비용이 저렴하거나 에너지 소비가 적은 다양한 칩을 혼합해 사용할 수 있는 선택지를 제공한다. AI 관련 비용 부담을 낮추고 운영 효율을 높여 AI 기술의 보급을 확산시키려는 목적이다. 이러한 소프트웨어 지원 체계는 Axelera(엑셀레라), Fractile(프랙타일), Kalray(칼레이)를 비롯해 OLIX, Q.ANT, SiPearl, SpiNNcloud, VSORA 등 유럽의 신생 AI 칩 제조사들이 하드웨어 경쟁력을 확보하고 시장에 안착하는 데 실질적인 도움을 준다. 하드웨어 제조사가 소프트웨어 최적화의 장벽을 넘도록 돕는 보조 장치 역할을 수행한다.

ZML/LLMD(LLM 추론 최적화 도구)는 오픈소스가 아니지만 현재 무료 제품으로 출시했다. 초기 단계에서 과도한 수익을 추구하는 대신 실제 사용량을 정밀하게 측정하여 가장 효과적인 수익 창출 지점을 발굴하겠다는 전략이다. 제품의 시장 적합성을 먼저 검증하고 실제 사용 데이터를 기반으로 최적의 수익 모델을 설계하려는 의도다. 현재 20명의 소규모 팀이 운영을 맡고 있으며, 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe, Puzzle Ventures 등 여러 벤처 기업들로부터 총 2,000만 달러의 투자금을 유치해 기술 개발과 사업 확장을 추진한다. 소규모 정예 인원으로 고효율의 성과를 내는 운영 구조를 지향한다.

엔비디아 GPU의 높은 비용과 수급 불안정은 더 이상 인프라 구축의 상수가 아니다. ZML과 LLMD는 실리콘 공동 설계 방식을 통해 AMD, TPU, Apple Metal 등 서로 다른 아키텍처에서도 오픈소스 LLM의 추론 성능을 극대화한다. 이제 벤더 다변화 시 소프트웨어 수정 비용을 최소화하며 칩을 교체할 수 있는 기술적 판단 기준을 확보하는 것이 핵심이다. 하드웨어의 제약을 소프트웨어의 유연성으로 상쇄하는 능력이 인프라 운영의 실질적 비용을 결정한다.