WebGPU를 활용한 고성능 브라우저 내 LLM 추론 엔진이다

서버 측 처리 과정이 완전히 배제된 상태에서 강력한 LLM(Large Language Model, 대규모 언어 모델) 작업을 수행하는 환경이 브라우저 내부로 구현됐다. 외부 서버로 데이터를 전송하지 않고 로컬 브라우저에서 직접 연산을 처리하려는 사용자에게 실질적인 대안이 된다. 모든 추론 과정이 브라우저 내에서 완결된다.

WebLLM은 WebGPU(웹 브라우저에서 GPU 하드웨어 가속을 가능하게 하는 API)를 활용한 고성능 브라우저 내 LLM 추론 엔진이다. 하드웨어 가속을 통해 언어 모델 추론 기능을 웹 브라우저로 직접 가져온 것이 핵심이다. 서버 측 처리 없이 브라우저 내에서 직접 강력한 LLM 작업을 수행할 수 있게 함으로써 추론 환경의 제약을 낮췄다. 고성능 엔진으로서의 연산 효율을 확보했다.

Llama 3, Phi 3, Gemma, Mistral, Qwen(通义千问) 등 광범위한 오픈 소스 모델을 네이티브하게 지원한다. 지원 모델의 범위를 넓혀 다양한 AI 작업에 범용적으로 활용할 수 있는 기반을 마련했다. 이는 하드웨어 환경 전반에 걸친 범용 배포를 가능하게 하는 MLC LLM(Machine Learning Compilation LLM)의 컴패니언 프로젝트로서의 역할을 수행한다. 여러 하드웨어 환경에서 LLM을 보편적으로 배포하는 것을 목표로 한다.

서버 지원 없이 브라우저 내부에서 모든 동작이 실행된다

로컬 장치의 GPU 가속을 통해 모든 연산 프로세스가 브라우저 내부에서 완결된다. WebGPU(웹 브라우저에서 GPU 하드웨어 가속을 지원하는 API)를 사용하여 연산 성능을 확보했다. 데이터가 외부 서버로 전송되지 않고 사용자 기기 내에서만 처리되는 구조를 갖췄다. 외부 유출 경로를 차단함으로써 개인정보 보호(privacy)를 가능하게 한다.

프로젝트 통합은 NPM(노드 패키지 매니저)이나 Yarn(자바스크립트 패키지 관리 도구) 같은 패키지 매니저를 통해 수행한다. 기본 npm 패키지로 설치하거나 CDN(콘텐츠 전송 네트워크)을 통해 라이브러리를 직접 임포트하는 경로를 선택할 수 있다. 모듈형 설계를 채택하여 UI 컴포넌트와 모델 기능을 유연하게 연결하는 구조를 갖췄다. 개발자가 실제 환경에 즉시 적용할 수 있도록 돕는 종합적인 예제가 함께 제공된다.

OpenAI API와 완전히 호환된다

로컬에서 구동하는 오픈 소스 모델에 한해 스트리밍, JSON 모드, 로짓 레벨 제어, 시딩 기능을 OpenAI API와 동일한 규격으로 제어한다. WebLLM은 OpenAI API와 완전히 호환된다. 개발자는 어떤 오픈 소스 모델을 로컬에서 사용하더라도 기존에 구축한 API 호출 로직을 그대로 유지하며 백엔드 서버 없이 브라우저 내 모델로 교체할 수 있다. 인터페이스의 일관성 덕분에 API 기반 애플리케이션의 통합 과정에서 발생하는 코드 수정 공수가 거의 없다.

Web Worker(웹 워커)와 Service Worker(서비스 워커)를 통해 모델의 무거운 계산 작업을 별도의 워커 스레드로 오프로딩한다. 계산 작업이 메인 스레드에서 완전히 분리됨에 따라 고부하 연산 중에도 UI 중단이나 프리징 현상 없이 매끄러운 사용자 경험을 제공한다. 모델의 라이프사이클을 효율적으로 관리하여 브라우저 자원 점유를 최적화하는 구조다. 이를 통해 웹 환경의 제약을 극복하고 연산 효율과 UI 반응성을 동시에 확보했다.

클라이언트 GPU 성능에 따른 실질적인 추론 속도와 초기 모델 다운로드 비용을 산출해 도입 여부를 결정해야 한다.