1.6조 파라미터 규모의 MoE 모델

어제까지 당연했던 제약이 하루아침에 사라졌다. 수만 줄의 코드가 담긴 프로젝트 전체를 AI에게 읽히기 위해 파일을 수십 개로 쪼개거나, 핵심만 요약해 전달하며 맥락이 끊기던 불편함이 더 이상 필요 없게 됐다. 1.6조 개의 파라미터(인공지능의 지식 단위)와 100만 토큰(한 번에 처리하는 데이터 양)의 컨텍스트 창을 갖춘 오픈 웨이트 모델 LongCat-2.0이 HuggingFace(AI 모델 공유 플랫폼)에 공개됐기 때문이다.

LongCat-2.0은 1.6조 개의 거대한 파라미터를 탑재하고도 효율적인 추론을 가능하게 하는 전문가 혼합 모델(MoE, 전체 지식 중 필요한 부분만 골라 쓰는 구조)을 채택했다. 전체 파라미터 중 토큰당 약 480억 개만 활성화해 연산 효율을 극대화하는 방식이다. 덩치는 거대하지만 실제 작동할 때는 작업에 적합한 전문가만 불러내어 처리하므로, 방대한 데이터를 다루면서도 추론 속도를 유지한다.

이 모델은 100만 토큰의 컨텍스트 데이터를 학습한 덕분에 수만 줄의 코드가 포함된 프로젝트 전체를 한 번에 입력받아 수정 사항을 제안하는 작업에 최적화되어 있다. Claude Code, OpenClaw, Hermes 같은 메인스트림 도구들과 깊게 통합되어 코드 이해부터 저장소 수준의 편집, 자동화된 작업 실행 및 에이전트 워크플로우(AI가 스스로 목표를 설정하고 단계를 수행하는 과정)에서 강력한 성능을 발휘한다. 폐쇄형 상용 모델 수준의 대규모 코드베이스 처리 능력을 이제 오픈소스 환경에서 실무에 직접 도입할 수 있는 판단 기준이 마련됐다.

기술을 통해 대규모 컨텍스트 처리 효율을 최적화함

누군가는 데이터가 늘수록 버벅거렸고, 누군가는 지름길을 찾았다. 1.6조 개의 파라미터와 100만 토큰의 컨텍스트 창을 갖춘 LongCat-2.0은 HuggingFace에 공개된 오픈 웨이트 모델이다. 핵심은 LongCat Sparse Attention(LSA), 즉 필요한 정보만 골라 읽는 방식에 있다. LSA는 실시간 데이터 흐름을 파악하는 스트리밍 인식 인덱싱(SI), 층과 층 사이 정보를 연결하는 교차 계층 인덱싱(CLI), 데이터를 계층적으로 정리하는 계층적 인덱싱(HI) 세 가지 전략을 쓴다. 데이터가 이동하는 통로가 좁아져 처리가 늦어지는 메모리 접근 병목 현상을 해결해 추론 비용을 낮추고 처리 공간을 획기적으로 줄였다.

실제 소프트웨어 엔지니어링 성능에서도 수치로 증명했다. 실제 소프트웨어 문제를 해결하는 능력을 측정하는 SWE-bench Pro에서 59.5점을 기록하며 Claude Opus 4.6(57.3점)과 Gemini 3.1 Pro(54.2점)를 앞섰다. 터미널 환경의 작업 수행 능력을 보는 Terminal-Bench 2.1에서도 70.8점을 얻어 Gemini 3.1 Pro의 70.7점을 근소하게 제쳤다. 폐쇄형 상용 모델 수준의 대규모 코드베이스 처리 능력을 오픈소스 환경에서 구현한 셈이다.

학습 과정 역시 일반적인 방식과 달랐다. 범용 GPU 대신 특정 목적을 위해 설계된 맞춤형 반도체인 ASIC(Application-Specific Integrated Circuit) 기반의 슈퍼포드에서 모든 과정을 수행했다. 35조 개의 토큰을 학습하는 동안 단 한 번의 중단 없이 안정적으로 완료했다. 수백만 일의 가속기 연산 시간을 투입하면서도 하드웨어 최적화 능력을 통해 학습 안정성을 입증했다.

수만 줄의 코드를 쪼개고 요약해 AI에게 전달하던 번거로움이 끝났다. 100만 토큰의 넓은 시야와 메모리 병목을 뚫어낸 LSA 구조 덕분에, 이제는 프로젝트 전체를 한 번에 집어넣어도 속도가 떨어지지 않는다.

허깅페이스에 공개된 LongCat-2.0을 통해 우리 팀의 실무 환경에 직접 도입할 수 있을지 판단할 차례다. 비용과 보안의 제약 없이 대규모 코드베이스를 다룰 수 있는 실질적인 선택지가 생겼다.