여러 기기의 GPU와 메모리를 통합해 OpenAI 호환 API를 구축한다

매달 청구되는 고가의 API 비용과 데이터 프라이버시, 모델 제어권 상실은 로컬 AI 환경을 구축하려는 개발자들의 주요 제약이다. Mesh LLM은 여러 대의 머신에 분산된 GPU와 메모리를 통합해 하나의 OpenAI 호환 API로 노출하는 분산 AI 컴퓨팅 시스템으로 이 문제를 해결한다.

사용자가 보유한 여러 대의 머신을 연결하면 시스템은 이를 하나의 리소스 풀로 관리한다. 모델을 로컬 머신에서 직접 실행할지, 네트워크상의 다른 피어(Peer) 노드로 라우팅할지, 혹은 여러 머신에 분산하여 실행할지를 시스템이 결정해 가용 자원을 배분한다.

단일 기기의 메모리 용량으로 감당할 수 없는 거대 모델은 'Skippy'(분할 모드)를 통해 구동한다. 모델을 레이어 범위별로 파티셔닝하여 각 노드에 배치하는 파이프라인 구조를 적용한다. 예를 들어 0~15번 레이어는 첫 번째 노드에, 16~31번 레이어는 다음 노드에 배치하며, 활성화 값(Activations)이 이 단계들을 순차적으로 통과하게 한다.

OpenAI 클라이언트는 내부의 분산 배치 과정을 인식하지 않고 로컬호스트와 통신하는 것처럼 작동한다. 이를 통해 고가의 단일 고성능 GPU 없이 기존의 저사양 GPU 여러 대를 묶어 거대 모델을 로컬에서 구동할 수 있다.

데이터 센터 의존도를 낮추고 모델 제어권을 사용자에게 돌려준다

대형 제공자의 API에 의존하면 모델 업데이트 시점과 데이터 저장 위치, 하드웨어 제어권을 상실한다. Mesh LLM은 사무실 내부에 흩어져 있는 유휴 GPU를 하나로 묶어 외부 인프라 의존도를 낮추고 사용자가 직접 하드웨어와 모델을 제어하도록 한다.

설치는 약 18MB 용량의 경량 소프트웨어를 통해 이루어진다. 시스템은 표준 OpenAI 클라이언트가 인식할 수 있도록 `localhost:9337/v1` 주소로 인터페이스를 노출한다. 사용자는 공개 메쉬에 참여해 자원을 나누거나, 기업 내부 보안 요구사항에 맞춘 프라이빗 배포 환경을 직접 구성할 수 있다.

지원 모델 카탈로그는 40개 이상의 선택지를 제공한다. 노트북에서 구동 가능한 수억 개 파라미터 수준의 소형 모델부터 235B MoE(Mixture-of-Experts) 거대 모델까지 포함하여, 하드웨어 제약으로 포기했던 거대 모델의 로컬 구동을 가능하게 한다.

iroh 엔드포인트를 통해 중앙 서버 없는 P2P QUIC 통신을 구현한다

Mesh LLM은 모델을 제공하는 서버 노드와 요청을 보내는 클라이언트 노드 구분 없이 모든 참여 노드가 iroh(P2P 연결 네트워크 프로토콜) 엔드포인트를 실행한다. 각 노드의 정체성은 공개 키로 정의되며, 이 엔드포인트가 유일한 네트워크 접점이 된다. iroh가 홀 펀칭(방화벽 통과 직접 연결), NAT 트래버설, 릴레이 폴백을 처리하여 인증된 QUIC(빠르고 안전한 전송 계층 프로토콜) 연결을 생성함으로써 중앙 서버 없이 노드 간 직접 통신 환경을 구축한다.

접속 범위를 넓히기 위해 iroh의 Swift SDK를 기반으로 한 모바일 앱 출시를 준비 중이다. 동시에 에이전트 표준인 ACP(Agent Communication Protocol)를 지원하여 다양한 외부 클라이언트가 메쉬 네트워크에 합류할 수 있는 기반을 마련했다. 모바일 기기가 네트워크의 일원으로 참여하면 분산 자원의 활용도가 높아지며, 특정 벤더 종속(lock-in)을 방지하는 P2P 구조가 강화된다.

OpenAI API 비용 지출과 데이터 프라이버시 침해는 로컬 AI 전환의 핵심 장애물이다. Mesh LLM은 iroh 기반 QUIC 통신과 Skippy 모드로 분산된 GPU 자원을 하나의 API로 묶어 이 제약을 제거한다. 이제 로컬 AI의 성능은 단일 칩의 스펙이 아니라 가용 자원의 결합 방식에 의해 결정된다.