발표에서 확인된 핵심 사실

Soofi S 30B-A3B가 영어와 독일어 벤치마크에서 OLMo 3 32B와 Apertus 70B 등 기존 오픈 모델들을 제치고 최고 점수를 기록했다. 모델 크기가 무조건 성능으로 이어진다는 공식이 깨진 결과다.

독일 AI 협회 KI Bundesverband가 조율한 이번 프로젝트는 도이치 텔레콤의 인더스트리얼 AI 클라우드(기업용 인공지능 연산 환경)에서 학습을 진행했다. 사전 학습 보고서에 따르면, Soofi S는 완전 오픈 모델 중 최상위권 성적을 거두며 효율적인 모델 설계의 가능성을 입증했다.

학습에는 총 27조 개의 토큰(AI 학습 텍스트 최소 단위)이 3단계에 걸쳐 투입됐다. 특히 독일어 데이터 비중을 1단계 7.2%에서 2단계 15.3%까지 전략적으로 높여 언어 능력을 정교하게 다듬었다.

데이터 구성은 상업용과 오픈 소스를 혼합했다. 1억 9,300만 건의 신문 기사가 담긴 Genios 코퍼스를 중심으로 HPLT, German Commons, FinePDFs, FineWiki의 독일어 데이터를 결합해 완성도를 높였다.

Mamba-2 레이어와 표준 어텐션 레이어가 결합된 하이브리드

Soofi S는 엔비디아의 네모트론 3 나노(Nemotron 3 Nano) 구조를 그대로 채택해 연산 효율을 극대화했다. 전체 파라미터는 31.6억 개지만, 토큰 생성 시 실제 작동하는 '활성 파라미터'는 약 3.2억 개뿐인 전문가 혼합(MoE, 필요한 신경망만 선택적으로 사용하는 구조) 방식을 쓴다. 덩치는 30B급이지만 실제 연산 비용은 3B급 모델 수준으로 낮춘 셈이다.

내부는 맘바-2(Mamba-2, 데이터를 순차적으로 빠르게 처리하는 선형 모델) 레이어와 표준 어텐션(Attention, 문맥의 중요 정보를 파악하는 방식) 레이어를 섞은 하이브리드 형태다. 덕분에 추론 속도를 높이면서도 문맥 이해도를 놓치지 않았다.

메모리 병목을 해결하기 위해 KV 캐시(이전 대화 내용을 기억하는 임시 저장소) 최적화에 집중했다. 전체 52개 레이어 중 단 6개에서만 캐시를 유지해 메모리 점유율을 낮췄다. 그 결과 컨텍스트 40,000 토큰, 32개 병렬 요청 환경에서 14~24B 파라미터 밀집 모델보다 GPU당 초당 토큰 생성량이 약 8배 높게 나타났다.

코드 벤치마크와 독일 지역 지식 테스트에서 오픈 소스 모델 중

특정 영역의 최적화는 체급 차이를 극복하게 한다. Soofi S는 코드 성능 측정 벤치마크인 HumanEval에서 73.8%, MBPP에서 70.2%를 기록했다. 특히 독일어 버전 MBPP에서는 84.2%를, 독일 지역 지식 테스트(INCLUDE-DE)에서는 61.2점을 획득하며 더 큰 모델인 Qwen3.5 35B-A3B와 공동 1위에 올랐다.

다만 학습 데이터 양이 너무 많다는 지적도 있다. 파라미터 하나당 학습 토큰 비율이 업계 표준인 20:1을 크게 상회해, 칭칠라 스케일링 법칙(모델 크기와 데이터 양의 최적 비율) 기준으로는 과잉 학습된 상태라는 분석이다. 활성 파라미터 기준으로 보면 이 비율은 수천 대 일까지 벌어진다.

이에 대해 기술 리더 마이클 프롬(Michael Fromm)은 MoE 아키텍처에서는 기존 법칙이 그대로 적용되지 않는다고 설명한다. 개별 전문가들이 동일 문서를 반복 학습하는 정도가 밀집 모델보다 훨씬 적기 때문에 학습 효율이 유지된다는 논리다. 결국 전체 파라미터 수보다 어떤 전문가가 얼마나 효율적으로 학습했느냐가 성능을 결정한다.

Soofi S가 Apertus 70B 같은 거대 모델을 앞선 것은 대화 기억 공간을 6개 레이어로 최소화한 효율적 설계의 승리다.

이제 오픈 모델을 선택할 때 전체 파라미터라는 외형보다, 실제 연산에 투입되는 활성 파라미터와 캐시 구조가 GPU 자원을 얼마나 아끼는지 확인해야 한다. AI의 실질적인 처리량(Throughput)은 덩치가 아니라 자원 활용의 밀도에서 결정되기 때문이다.