로컬 구동 환경과 모델 제원

리눅스 환경과 엔비디아 RTX GPU를 보유한 사용자를 대상으로 하는 'Portable Computer'는 클라우드 의존도를 없앤 에이전트 플랫폼이다. 엔비디아 DGX Spark 데스크톱 슈퍼컴퓨터와 RTX GPU가 탑재된 리눅스 머신에서 즉시 사용 가능하며, 윈도우 지원은 오는 9월로 예정되어 있다. 하드웨어 진입 장벽은 VRAM 24GB 이상으로 설정되었으며, 이는 지포스 RTX 3090 또는 그 이후 모델이 기준점이 된다.

지원 모델은 Qwen 3.8 27B와 Perplexity가 자체 하네스(Harness)로 사후 학습시킨 PPLX 27B다. 엔비디아의 Nemotron 3.5 Lightning 모델은 추후 업데이트될 예정이다. 모든 작업은 기본적으로 로컬 디바이스에서 시작되며, 모델과 사용자 파일, 작업 프로세스가 외부로 유출되지 않는다. 클라우드의 프런티어 모델로 단계를 넘겨야 할 경우에만 시스템이 사용자에게 권한을 요청하는 구조를 취한다.

이 시스템은 기존 로컬 AI 스택 구축 시 필요했던 모델 가중치 다운로드, 추론 서버 구축, 도구 연결 및 성능 튜닝 과정을 하나로 묶어 제공한다. 로컬 모델, 에이전트 하네스, 추론 엔진, 앱 커넥터, 보안 샌드박스가 단일 패키지로 구성되어 배포된다. 대상 사용자는 Pro, Max, Enterprise Pro, Enterprise Max 구독자로 제한된다.

모델-하네스 공동 설계와 벤치마크

로컬 에이전트의 성능을 결정짓는 핵심은 모델과 에이전트 하네스(프롬프트, 도구, 오케스트레이션 로직의 골격)의 공동 설계에 있다. Perplexity 연구팀은 Qwen 3.8 27B 같은 모델이 26만 토큰의 컨텍스트 창을 광고하더라도, 실제로는 10만 토큰을 넘어서면 성능이 저하된다는 점을 확인했다. 이를 해결하기 위해 시스템 프롬프트를 간결하게 유지하고, 모든 기능을 컨텍스트에 상주시키는 대신 필요할 때만 로드하는 '온디맨드 스킬(on-demand skills)' 방식을 도입했다.

연결성 최적화를 위해 Gmail, GitHub 등 기존 MCP(Model Context Protocol) 서버 기반 커넥터를 토큰 소모가 적은 컴팩트한 명령줄 도구(CLI)로 전환했다. 또한 작업 상태를 모니터링하는 자체 검증 훅(self-verification hooks)을 추가하고, OS 레벨의 샌드박싱을 강제했다. 샌드박스를 사용할 수 없는 환경에서는 도구 실행 권한을 완전히 차단하여 보안성을 높였다.

실제 측정 결과, 자체 평가 지표인 'Local Knowledge Work Bench'(53개 작업)에서 Qwen 3.8 27B 기반의 Portable Computer는 82.6%의 정확도를 기록했다. 이는 동일 모델을 사용한 Pi 하네스(77.6%)와 Hermes(74.0%)보다 높은 수치다. 특히 PPLX 27B 모델을 사용할 경우 점수는 85.4%까지 상승했다. 웹 리서치 벤치마크인 'BrowseComp'에서는 66.7%의 정확도를 보이며 Pi(50.2%)와 Hermes(43.9%)를 앞섰으며, Pi 대비 벽시계 시간(Wall time)은 51%, 토큰 사용량은 70% 절감했다. 멀티모달 문서 이해 성능 역시 65.1%를 기록해 Hermes(34.6%)와 Pi(13.9%) 대비 높은 처리 능력을 보였다.

하이브리드 운영의 비용 및 실무 영향

개인 금융 문서와 같은 민감 정보 처리는 로컬 환경의 강점을 보여주는 사례다. 1099 세금 양식 등 민감한 투자 문서를 로컬에서 검토하여 불필요한 수수료 발생 사례를 찾아내는 작업 시, 클라우드 크레딧 소모 없이 GPU 자원만으로 처리가 가능하다. 반면, 로컬에서 CSV 사용자 퍼널 데이터를 분석한 뒤 그 결과를 슬랙(Slack) 채널로 전송하는 작업처럼 로컬 처리와 외부 커넥터 생태계를 결합한 하이브리드 워크플로우도 지원한다.

비용과 성능의 접점을 보여주는 지표는 코딩 벤치마크인 'Terminal Bench 2.1' 결과에서 나타난다. 완전 로컬 환경의 Qwen 모델은 59.6%의 정확도를 기록하며 한계 비용 0원을 달성했다. 여기에 클라우드의 Claude Opus 5를 '어드바이저'로 활용하는 하이브리드 방식을 적용하면 정확도는 73.0%로 상승하며, 작업당 추정 비용은 0.415달러가 발생한다. 프런티어 모델만 단독으로 사용할 경우 정확도는 82.4%까지 올라가지만 비용은 0.65달러로 증가한다.

에이전트 워크플로우는 단발성 채팅과 달리 지속적인 토큰 소비와 반복적인 자기 검증 과정이 수반된다. 이를 클라우드 API로 처리할 경우 비용 통제가 어렵지만, 로컬 인프라에서는 한계 비용이 제로에 수렴한다. 따라서 개발자와 실무자는 데이터 프라이버시가 필수적인 작업이나 토큰 소모가 극심한 반복 루프 작업은 로컬로 배치하고, 최종 검증이나 고난도 추론 단계에서만 프런티어 모델로 에스컬레이션하는 하이브리드 비용 구조를 설계해야 한다.