facts: MoE 구조 모델과 OpenAI 호환 인터페이스

실험적으로 공개된 이번 API는 OpenAI 호환 인터페이스를 채택해 기존 OpenAI 클라이언트를 그대로 사용할 수 있도록 설계됐다. 이용자는 Hetzner의 Experiments 대시보드에서 API 토큰을 생성한 뒤, 베이스 URL을 Hetzner 서버로 지정해 호출하는 방식으로 접근한다.

제공되는 모델은 `Qwen/Qwen3.6-35B-A3B-FP8`이다. 전체 파라미터 350억 개 중 추론 시 30억 개의 파라미터만 활성화하는 MoE(Mixture-of-Experts) 구조를 가진다. 텍스트와 이미지 입력을 모두 처리할 수 있으며, 컨텍스트 윈도우는 262K로 설정됐다. 가중치는 FP8(8비트 부동 소수점)로 양자화되어 메모리 효율을 높였다.

접근 방식은 단순한 API 제공에 그치지 않고, 코딩 없이 API를 테스트할 수 있도록 OpenCode 연결 튜토리얼을 함께 제공한다. 다만 현재는 단일 모델만 제공되며, 공식적인 과금 체계나 서비스 수준 협약(SLA), 프로덕션 환경에 대한 보증은 없는 상태다.

how-it-works: 추론 제어 옵션과 하드웨어 제약

API 요청 필드 중 주목할 지점은 `enable_thinking` 옵션이다. 이 옵션을 활성화하지 않으면 모델이 가시적인 답변을 내놓기 전까지 완료 예산(completion budget)의 상당 부분을 추론 과정에 소모하는 특성이 있다. 해당 옵션은 실제 테스트에서 작동하는 것이 확인됐으나, Hetzner의 공식 문서에는 명시되지 않은 기능이다.

2026년 7월 23일 진행된 단일 클라이언트 테스트에서는 빠른 응답 속도를 기록했다. 하지만 이는 특정 시점의 단일 요청 결과이며, 다수 사용자가 동시 접속했을 때의 지연시간이나 처리량에 대한 데이터는 확보되지 않았다.

모델의 정성적 성능은 포맷팅 및 리트리벌(Retrieval) 지시사항을 대부분 준수하고 이미지를 정확하게 처리하는 수준이다. 반면 매우 간단한 산술 문제 두 건에 대해 오답을 내놓는 등 소형 모델 특유의 한계를 보였다.

인프라 구성 면에서 FP8 양자화된 Qwen 모델의 파일 크기는 약 38GB다. 실제 VRAM 사용량은 컨텍스트 길이와 캐시 크기에 따라 달라지지만, Hetzner가 현재 제공하는 RTX 6000 Ada(VRAM 96GB) 서버 한 대에서 충분히 구동 가능한 규모다. 즉, 거대한 GPU 클러스터 없이도 서빙이 가능한 모델을 실험 대상으로 선택한 것이다.

implementation-impact: 저비용 인프라 전략과 하드웨어 확장 가능성

인프라 운영 측면에서 이번 시도는 베어메탈 GPU 서버의 활용도를 높이려는 전략으로 풀이된다. 기존의 전용 GPU 서버는 고객의 사용 여부와 관계없이 점유되는 구조지만, 추론 API는 다수 사용자가 GPU 용량을 공유하게 함으로써 하드웨어 가동률을 극대화하고 수익성을 개선할 수 있다.

하지만 현재의 하드웨어 라인업으로는 대규모 오픈 웨이트 모델 서빙에 제약이 있다. 예를 들어 7,540억 개의 파라미터를 가진 GLM-5 같은 모델은 공격적인 양자화를 적용하더라도 수백 GB의 VRAM이 필요하며, 8개의 GPU를 묶어 처리하는 레시피가 필요하다. 이를 위해서는 B200 또는 B300 클래스의 하드웨어와 GPU 간 초고속 인터커넥트망이 필수적이지만, 현재 Hetzner의 공개 라인업에는 해당 장비가 포함되어 있지 않다.

실무자가 이번 실험에서 주목해야 할 점은 API의 성능보다 Hetzner의 하드웨어 투자 방향이다. 현재의 RTX 6000 Ada 기반 소형 모델 서빙에 그친다면 단순한 기능 테스트에 머물겠지만, 향후 B200/B300급 클러스터 도입과 모델 카탈로그 확장이 이뤄진다면 유럽 내 저비용·고효율 추론 인프라의 새로운 선택지가 될 수 있다.