발표에서 확인된 핵심 사실

초당 3,000토큰(TPS)의 단일 요청 디코딩 속도는 소프트웨어 최적화만으로 데이터센터 GPU의 성능을 극대화한 결과다. 이는 기업이 이미 보유한 하드웨어 자산의 활용 가치를 결정짓는 수치다. 프랑스 스타트업 Kog가 개발 중인 Kog Inference Engine(KIE, 기존 GPU 추론 성능 극대화 엔진)가 이를 구현한다. Kog는 기존 GPU에서 더 많은 성능을 끌어낼 수 있다는 전제하에 기술 개발에 집중하고 있다.

KIE는 NVIDIA H200과 AMD MI300X 같은 표준 데이터센터 GPU에서 매우 빠른 단일 요청 디코딩이 가능함을 증명하고자 한다. 소프트웨어 최적화를 통해 기존 하드웨어의 새로운 기능을 잠금 해제하는 것이 핵심이다. 이를 통해 LLM(대규모 언어 모델) 추론 속도를 최대 30배까지 높이는 것을 목표로 하며, 지난 5월 기술 프리뷰를 통해 해당 가능성을 제시했다.

실제 성능 수치는 약 20억 파라미터 규모의 오픈 소스 모델인 Laneformer 2B(레인포머 2B) 데모에서 확인됐다. 특정 목적을 위해 설계된 이 소형 모델을 통해 3,000 TPS라는 극단적인 디코딩 속도를 기록했다. Kog의 CEO는 이러한 소프트웨어 기반의 접근 방식이 규모가 더 큰 대규모 언어 모델에서도 동일하게 작동할 것이라고 확신한다.

어셈블리 언어와 바이너리 코드 수준의 저수준 리버스

어셈블리 언어(컴퓨터 하드웨어가 이해하는 최하위 명령어)와 바이너리 코드(0과 1로 구성된 이진 데이터)를 분석하는 저수준 리버스 엔지니어링이 GPU 가속의 기반이다. DEF CON의 CTF(해킹 방어 대회) 토너먼트 4회 파이널리스트인 Gaël Delalleau는 고체 물리학과 오펜시브 사이버 보안(시스템의 취약점을 찾아 공격하는 보안 기술) 배경을 바탕으로 GPU의 물리적 법칙과 동작 방식을 분석했다. 이를 통해 GPU가 원래 설계된 목적 외의 목표를 달성하도록 최적화하는 방식을 취한다. 하드웨어의 물리적 특성을 직접 제어해 연산 효율을 극대화한 접근이다.

프랑스 정부 기관인 Bpifrance와 French Tech 2030, 그리고 클라우드 사업자인 Scaleway가 자금과 인프라를 지원한다. 이전 공동 창업자 출신인 Kamel Zeroual이 운영하는 Varsity VC는 시드 라운드를 공동 주도하며 초기 자본을 공급했다. 유럽 내 AI 역량 강화와 기술 주권 확보라는 전략적 흐름이 반영된 투자 구조다. 공공 기관의 정책적 지원과 민간 VC의 자본이 결합해 기술 자립도를 높이려는 목적이다.

투자금과 참여 투자자가 보여주는 신호

9월까지 주요 모델의 추론 속도를 10배 높이는 것이 시리즈 A 투자 유치의 선결 과제다. Gaël Delalleau(가엘 델랄로)는 첫 번째 주요 모델에서 10배의 속도 향상을 구현해 실제 고객 견인력을 입증할 계획이다. 이러한 성능 증명이 향후 추가 펀딩을 확보하는 데 있어 결정적인 열쇠가 될 것으로 보고 있다.

대형 모델의 추론 가속 개발에 자원을 집중하는 전략을 택했다. 잠재 고객들이 소형 모델을 직접 미세 조정(Fine-tuning, 특정 데이터셋으로 모델을 추가 학습시키는 과정)할 준비가 되어 있지 않다는 피드백을 확인했기 때문이다. Kog(코그)는 출시 이후 고객 수요를 반영해 소형 모델의 미세 조정보다는 대형 모델의 추론 가속화 개발에 전념하고 있다.

하드웨어 교체 없이 소프트웨어 스택 변경만으로 추론 비용 절감과 속도 향상이 가능한지는 9월 발표 예정인 주요 LLM(Large Language Model, 거대언어모델)의 10배 가속화 구현 여부와 벤치마크 수치로 판단한다.