발표에서 확인된 핵심 사실

고성능 AI 모델을 운용하려면 보통 폐쇄적인 API를 호출하거나 일부 가중치만 공개된 모델을 제한적으로 활용해야 한다. Thinking Machines Lab은 사용자가 모델을 직접 맞춤화할 수 있도록 전체 가중치를 공개한 오픈 웨이트 모델 Inkling을 발표했다. 처음부터 인간의 직접적인 최적화를 위해 학습된 범용 모델이다. 텍스트를 포함한 다양한 데이터 처리 능력을 갖춘 상태에서 모델의 내부 가중치를 완전히 개방해 사용자가 필요에 따라 직접 조정할 수 있는 환경을 구축했다. 이는 모델의 블랙박스 영역을 제거해 사용자 제어권을 극대화한 결과다.

Inkling은 총 975B 파라미터 규모의 MoE(Mixture-of-Experts, 전문가 혼합) Transformer 구조를 채택했다. 전체 파라미터 중 토큰당 41B만 활성화하는 방식을 통해 추론 효율을 높였다. 텍스트와 이미지, 오디오 기반의 추론을 모두 지원하며 최대 문맥 창은 1M 토큰이다. 방대한 파라미터 규모를 유지하면서도 실제 연산에 참여하는 가중치를 제한해 추론 비용과 지연 시간을 동시에 낮췄다. 대규모 컨텍스트 처리 능력과 효율적인 연산 구조를 동시에 확보한 설계다.

멀티모달 기능과 효율적인 추론 체계에 Tinker(팅커) 미세조정 기술을 결합했다. 이를 통해 단순한 모델 제공을 넘어 사용자 중심의 맞춤화 기반 모델을 지향한다. 공개된 전체 가중치와 미세조정 도구를 활용하면 특정 도메인이나 특수 목적에 최적화된 모델을 직접 구축할 수 있다. 텍스트, 이미지, 오디오를 통합 처리하는 구조를 통해 다양한 입력 환경에 대응한다. 사용 사례별로 성능과 비용의 최적 지점을 결정할 수 있는 기술적 판단 기준을 제공한다.

추론 노력도(Reasoning Effort)를 0.20.99

서비스 운영자는 매 순간 토큰 비용과 응답 속도 사이에서 타협점을 찾아야 한다. Inkling은 추론 노력도(Reasoning Effort, 모델이 정답 도출을 위해 투입하는 연산 자원량)를 0.2에서 0.99 범위로 조절할 수 있는 기능을 제공한다. 0.2에서 0.99 사이의 설정값은 성능과 비용의 상관관계를 사용자가 직접 제어하게 한다. 실제 애플리케이션을 구축할 때 마주하는 토큰 비용의 한계와 지연 시간이라는 물리적 제약 사항을 고려해 설정값을 선택하는 방식이다. 단일 최고 점수라는 정량적 수치보다 개별 사용 사례에서 요구되는 비용과 성능의 최적 지점을 결정하는 판단 기준을 확보할 수 있다.

Terminal Bench 2.1(LLM의 추론 능력을 측정하는 벤치마크) 평가 결과는 이러한 조절 기능의 실효성을 입증한다. Inkling은 Nemotron 3 Ultra와 유사한 수준의 성능을 구현하면서도 생성 토큰 사용량은 약 3분의 1 수준으로 억제했다. 추론 노력도 설정을 통해 성능 유지와 토큰 생성량 사이의 균형을 맞춘 결과다. 적은 토큰으로 동일한 성능을 구현한 수치는 효율적인 추론 능력을 보여주는 지표로 활용된다.

확인해야 할 핵심 지점

45조 개의 토큰은 학습 데이터의 규모와 다양성 면에서 매우 높은 수치다. 텍스트와 이미지, 오디오, 비디오를 모두 통합한 이 방대한 데이터셋은 NVIDIA GB300 NVL72 시스템을 통해 학습되었다. 개발 단계에서 특정 벤치마크 점수를 올리는 정량적 성과보다 에이전트 작업, 추론, 코딩, 지시 수행, 사실성 전반의 범용성을 확보하는 데 주력했다. 이는 모델의 절대적 점수보다 실제 환경에서의 맞춤화 가능성과 범용적 활용 능력을 우선한 선택이다.

비전과 오디오 처리를 위해 별도의 인코더를 두지 않는 인코더 없는(encoder-less) 네이티브 멀티모달 구조를 사용한다. 인코더 없는 구조는 데이터 유형별 전처리 장치 없이 입력을 통합 처리하는 방식이다. 오디오는 dMel 스펙트로그램(소리 신호를 주파수 성분으로 시각화한 데이터)으로 처리하며, 이미지는 4계층 hMLP(가벼운 다층 퍼셉트론)를 통해 인코딩한다. 두 입력은 가벼운 임베딩 계층을 통과한 뒤 텍스트 토큰과 함께 처리되는 구조를 갖췄다. 실시간 음성 및 비전 협업을 지원하는 시스템의 백그라운드 추론 모델로 활용할 수 있는 설계다.

LLM 서비스 운영의 실질적 제약은 추론 비용과 지연 시간의 상충 관계다. Inkling은 0.2에서 0.99까지 조절 가능한 추론 노력도와 네이티브 멀티모달 구조를 통해 성능과 비용의 곡선을 선택 가능한 변수로 전환했다.

이제 모델의 가치는 단일 최고 점수가 아니라 사용 사례별 비용-성능 최적 지점을 결정하는 판단 기준에서 결정된다. 추론 노력도 설정에 따른 성능 변화를 검증해 최적의 운영 지점을 확정하는 것이 실질적인 도입 전략이다.