Kimi K2.7 기반의 강화학습으로 사후 훈련의 한계를 극복하다

코딩 AI를 실무에 도입할 때 발생하는 가장 큰 문제는 복잡한 코드베이스에서 AI가 단순 추측성 답변을 내놓으며 성능이 떨어지는 지점이 존재한다는 것이다. SWE-1.7은 Kimi K2.7 베이스 모델에 강화학습(RL, Reinforcement Learning)을 추가 적용해 이 문제를 해결했다.

특히 Kimi K2.7이 이미 RL 사후 훈련을 마친 상태였음에도 불구하고, SWE-1.7은 추가 훈련을 통해 성능을 더 높였다. 이는 모델 능력이 특정 수준에서 정체된다는 '사후 훈련 천장(post-training ceiling)' 가설을 깨고, RL을 통해 역량을 더 높은 수준까지 끌어올릴 수 있음을 입증한 결과다.

훈련 규모를 확장하기 위해 3개 대륙 4개 데이터센터에 분산 인프라를 구축했다. 자체 GPU 클러스터와 Fireworks의 외부 컴퓨팅 자원을 결합해 물리적 자원 제약을 해결했으며, RL 과정에서 추론 엔진이 독립적으로 작동하는 구조를 활용해 초거대 규모의 RL 훈련을 안정적으로 수행했다.

장기 비동기 작업 최적화와 초당 1,000토큰의 추론 속도를 구현하다

이러한 인프라를 바탕으로 SWE-1.7은 고품질 소프트웨어 엔지니어링의 핵심인 '장기 비동기 작업(longer-horizon asynchronous tasks)'에 최적화되었다. AI가 단순히 한 줄의 코드를 짜는 수준을 넘어, 전체 코드베이스를 탐색하고 검증하는 긴 호흡의 작업을 수행하도록 설계했다.

실제 구동 환경에서는 Cerebras의 인프라를 통해 초당 1,000개의 토큰(TPS, Token Per Second)을 처리한다. 사용자는 Devin의 웹, 데스크톱, CLI 버전에서 이 성능을 즉시 사용할 수 있다. 1,000 TPS의 추론 속도는 대규모 코드 수정 시 발생하는 병목 현상을 제거해, 개발자가 실시간으로 코드 생성과 검증 루프를 반복할 수 있게 한다.

또한 지능 수준은 유지하면서 운영 비용을 낮춰 기업이 더 많은 에이전트를 실무 코드베이스에 투입할 수 있는 환경을 만들었다. 장기 비동기 작업 최적화와 빠른 추론 속도가 결합되면서 AI 에이전트가 스스로 버그를 찾고 수정안을 제안하는 사이클의 회전율이 빨라졌으며, 개발자는 단순 구현보다 설계와 검토 작업에 더 많은 시간을 할애할 수 있다.

샘플링 분포 리플레이와 Muon 옵티마이저로 학습 안정성을 확보하다

모델이 특정 답변 경로에 함몰되어 출력의 다양성을 잃는 '엔트로피 붕괴' 현상을 막기 위해 top-p 샘플링을 도입했다. 누적 확률이 일정 임계값 안에 드는 상위 토큰들만 선택함으로써, 확률이 낮은 토큰이 무분별하게 샘플링되어 답변이 단조로워지는 것을 방지한다.

훈련 데이터 분포와 실제 추론 시점의 샘플링 분포가 어긋나는 문제는 '샘플링 분포 리플레이(sampling distribution replay)'로 교정했다. 롤아웃 시점에 샘플링 가능했던 토큰 집합을 기록하고, 훈련기에서 이 마스크를 적용해 확률을 다시 정규화함으로써 모델이 학습 범위를 벗어나 발산하는 현상을 제한했다.

학습 효율을 높이기 위해 가중치 업데이트를 최적화하는 Muon 옵티마이저를 도입하고, 훈련기 내의 비결정적 연산을 완전히 제거했다. 하드웨어 특성에 따라 결과가 미세하게 달라지는 불확실성을 없애 훈련 안정성을 확보했으며, 모델 성능 향상이 설계된 경로를 따라 이루어지도록 제어했다.

코딩 AI의 추측성 답변과 성능 저하는 결국 학습 규모와 안정성의 한계에서 기인한다. SWE-1.7은 샘플링 분포 리플레이와 99% 압축된 가중치 델타 전송 방식을 통해 1조 파라미터 규모에서도 안정적인 추론 효율을 구현했다. 이제 핵심은 에이전트의 코드베이스 탐색과 검증 루프가 실무 코드 품질을 얼마나 정밀하게 제어하는가에 있으며, 개발자의 역할은 AI의 검증 루프를 설계하고 최종 품질을 결정하는 엔지니어링으로 바뀐다.