확인된 사실: 1.5시간 만에 구현한 고효율 모델

최근 한 개인 연구자가 5090 GPU 환경에서 1.5시간 만에 학습시킨 소형 트랜스포머 모델이 ARC-AGI(Abstraction and Reasoning Corpus) 벤치마크에서 유의미한 성과를 냈다. 이 모델은 기존의 복잡한 재귀적 모델(TRM, HRM)과 대등한 점수를 기록하며, 대규모 언어 모델(LLM)이 주도하던 ARC-AGI 리더보드에서 효율성 중심의 새로운 가능성을 제시했다. 이번 성과는 이전 연구의 업그레이드 버전으로, 모델의 구조적 개선과 학습 알고리즘 최적화를 통해 비용과 시간을 획기적으로 단축했다는 점이 핵심이다.

가장 큰 변화는 학습 방식의 전환이다. 기존의 입력 토큰을 포함한 학습 대신 출력 토큰만을 활용하는 지도 학습 방식을 채택했다. 이로 인해 성능은 40%에서 44%로 향상되었으며, 학습 과정의 안정성 또한 높아졌다. 또한, NorMuon 최적화 기법을 도입해 기존 AdamW 방식에서 발생하던 학습 후반부의 수렴 지연 문제를 해결했다. 데이터 측면에서는 ARC-2 데이터셋에서 중복 문제를 정밀하게 필터링하여 데이터 누출을 방지하면서도 학습 데이터의 질을 높였다.

시장 흐름: 샘플 효율성과 '반(反) 비터 레터'의 경계

이번 사건은 AI 연구의 흐름이 '무조건적인 데이터 확장'에서 '샘플 효율성(Sample Efficiency)'으로 이동하고 있음을 보여준다. 현재 많은 연구가 최소한의 데이터로 최적의 성능을 내는 데 집중하고 있는데, 이번 모델은 그 한계를 트랜스포머 구조 내에서 어디까지 밀어붙일 수 있는지를 증명하는 사례다. 특히 저자는 데이터 증강이나 합성 데이터 사용을 지양하는 '반(反) 비터 레터(Anti-bitter lesson)'적 접근을 강조하며, 모델의 귀납적 편향을 인위적으로 설계하는 방식이 오히려 일반화 능력을 저해할 수 있다고 지적한다.

경쟁 구도 측면에서도 시사점이 크다. 그간 LLM 기반 모델들은 ARC-AGI에서 꾸준히 점수를 높여왔으나, 이는 모델 자체의 추론 능력보다는 학습 데이터 내의 패턴 암기일 가능성이 높다는 비판이 제기되어 왔다. 이번 연구는 고가의 컴퓨팅 자원 없이도 소형 모델이 특정 벤치마크에서 대형 모델과 경쟁할 수 있음을 보여줌으로써, 연구자들에게 '비용 효율적인 실험 환경'의 중요성을 환기했다. 이는 고비용의 LLM 학습에 의존하던 기존의 연구 관행에 제동을 걸고, 구조적 혁신을 통한 성능 향상이라는 선택지를 다시금 부각한다.

실무자 관점: 무엇을 관찰하고 판단할 것인가

한국의 AI 실무자와 개발자가 주목해야 할 지점은 '학습 효율의 재정의'다. 이번 사례는 단순히 모델의 크기를 줄이는 것이 아니라, 학습 과정에서의 불필요한 연산을 제거하고 최적화 기법을 정교화함으로써 성능을 유지할 수 있음을 입증했다. 특히 65% 성능 도달을 위해 데이터 증강 없이 모델 구조를 개선하겠다는 저자의 로드맵은, 향후 모델 개발 시 데이터 양보다 아키텍처의 효율성이 더 중요한 변수가 될 수 있음을 암시한다.

실무자는 향후 연구에서 '재귀적 구조'와 '단순 트랜스포머 구조' 사이의 성능 차이를 면밀히 관찰할 필요가 있다. 현재 저자는 재귀적 구조가 메모리 이동 없이 연산량을 늘리는 데는 유리할 수 있으나, 성능 향상의 핵심은 아니라고 주장한다. 따라서 모델 도입을 검토하는 기업이나 개발자는 특정 모델이 광고하는 '파라미터 수'가 실제 '활성 가중치'인지, 아니면 단순한 룩업 테이블 형태인지 구분하는 검증 능력이 필요하다. 코드와 연구 상세 내용은 GitHub를 통해 공개되어 있으므로, 이를 활용해 자체적인 실험 환경을 구축하고 샘플 효율성을 테스트해보는 것이 권장된다.