오픈 소스 AI 모델 Inkling-Small을 출시했다

2,760억 개의 파라미터(AI가 학습한 정보의 최소 단위)만으로 9,750억 개 규모의 이전 모델과 대등한 지능을 구현했다. 특히 코딩 능력을 측정하는 SWE-bench Verified에서 80.2%를 기록하며 체급이 훨씬 컸던 이전 모델의 성능을 앞질렀다.

전 OpenAI 최고기술책임자(CTO) 미라 무라티가 이끄는 스타트업 Thinking Machines가 이 모델을 오픈 소스로 공개했다. 이전 모델인 Inkling보다 크기는 줄였지만, 여러 벤치마크(성능 측정 시험)에서 비슷하거나 더 뛰어난 결과를 냈다. 모델의 크기를 줄이면서도 지능을 유지하는 효율성에 집중한 결과다.

텍스트와 이미지, 오디오 입력을 모두 처리해 텍스트로 답하는 멀티모달 추론 모델이다. 한 번에 기억하고 처리할 수 있는 정보량인 컨텍스트 윈도우는 최대 100만 토큰(텍스트 조각)까지 지원한다. 라이선스는 누구나 자유롭게 이용하고 수정할 수 있는 Apache 2.0 방식을 택해 접근성을 높였다.

실제 계산 시에는 토큰당 120억 개의 활성 파라미터(실제로 작동하는 신경망 연결)만 사용한다. 전체 파라미터 규모는 크지만, 실제 연산에 참여하는 부분만 선택적으로 활용해 추론 속도와 효율을 최적화한 구조다.

코딩 및 추론 성능에서 Inkling을 능가하지만, 사실적

SWE-bench Verified에서 80.2%의 정답률을 기록하며 기존 Inkling의 77.6%를 넘어섰다. Terminal Bench 2.1에서도 64.7%를 기록해 63.8%에 그친 상위 모델보다 앞선 성능을 보였다. 반면 $\tau^3$-Banking 같은 사실적 지식 측정이나 일부 에이전트 작업에서는 여전히 Inkling이 우위를 점한다. 복잡한 코드를 짜거나 논리를 푸는 능력은 키웠지만, 백과사전식 지식 저장량은 상대적으로 줄어든 결과다.

Thinking Machines는 이러한 성능 배분을 위해 희소 전문가 혼합(sparse Mixture-of-Experts, MoE) 구조를 도입했다. 모델 전체 파라미터 중 일부만 선택적으로 활성화해 계산하는 방식이다. 42개 레이어의 디코더가 입력된 토큰을 256개의 전문 전문가 중 6개와 항상 작동하는 2개의 공유 전문가에게 라우팅한다. 라우팅은 입력값에 가장 적합한 전문가를 찾아 연결해 주는 경로 지정 과정이다.

이 구조 덕분에 모델의 전체 규모는 유지하면서 추론 시에는 극히 일부의 파라미터만 사용한다. 모든 데이터를 모든 신경망에 통과시키는 대신, 문제 성격에 맞는 전문가 그룹만 호출해 답을 낸다. 연산 비용은 낮추면서 특정 분야의 전문성은 극대화한 설계다.

높은 GPU 메모리 요구 사양으로 인해 일반 소비자용

BF16 체크포인트(모델의 학습 상태를 저장한 데이터)를 구동하려면 최소 600GB의 GPU 메모리가 필요하며, 압축 기술을 쓴 NVFP4 버전도 약 180GB의 VRAM(비디오 램)이 있어야 한다. 이 수치는 일반적인 노트북이나 맥북, 게이밍 PC, 개발자용 워크스테이션의 사양을 훨씬 넘어선다. 사실상 기업용 GPU 서버나 클라우드 클러스터에서만 작동하는 모델이다.

자체 GPU 인프라를 갖춘 기업은 모델을 직접 호스팅하며 데이터 제어권을 온전히 가질 수 있다. 성능 저하를 최소화하면서 연산 요구량과 추론 비용, 배포 공간을 줄였기 때문이다. 기업이 고성능 모델을 운영하며 겪는 비용 부담을 실질적으로 낮춘 결과다.

모델 선택의 최종 기준은 보유한 VRAM 용량과 작업의 성격이다. BF16 사용 시 B300 4장 또는 H200 8장(600GB), NVFP4 사용 시 B300 1장 또는 H200 2장(180GB)의 메모리가 확보된 상태에서 코딩이나 추론 같은 고난도 작업에 투입해야 한다.