복잡한 수학 문제를 풀거나 긴 논리적 계획을 세울 때, 거대언어모델은 마치 한 번 내뱉은 말을 주워 담지 못하는 사람처럼 행동한다. 현재 대부분의 모델은 앞에서부터 단어를 하나씩 차례대로 생성하는 자기회귀(Autoregressive) 방식을 사용한다. 이 방식은 속도는 빠르지만, 문장 중간에 논리적 오류가 발생해도 이를 스스로 수정하거나 전체 맥락을 고려해 다시 생각하기 어렵다는 치명적인 약점이 있다. 최근 연구자들은 이러한 한계를 극복하기 위해 모델이 마치 초안을 여러 번 다듬듯 추론 과정을 수정할 수 있는 새로운 구조를 고민하기 시작했다.

LaDiR의 기술적 구성과 작동 원리

연구팀이 발표한 LaDiR(잠재 확산 추론기)은 거대언어모델의 추론 능력을 강화하기 위해 잠재 확산 모델(Latent Diffusion Model, 데이터의 노이즈를 제거하며 정교한 정보를 생성하는 인공지능 기법)을 결합한 프레임워크다. 이 시스템은 크게 두 단계로 작동한다. 첫째, VAE(Variational Autoencoder, 복잡한 데이터를 압축된 잠재 공간으로 변환하는 신경망)를 사용하여 텍스트 추론 단계를 생각 토큰(Thought tokens)이라는 블록 단위로 압축한다. 이를 통해 모델은 방대한 텍스트를 효율적으로 다루면서도 의미를 보존할 수 있다. 둘째, 잠재 확산 모델이 이 블록들을 반복적으로 다듬으며 최적의 추론 경로를 찾아낸다. 특히 블록 단위의 양방향 어텐션 마스크(Blockwise bidirectional attention mask, 데이터의 앞뒤 맥락을 동시에 고려하여 정보를 처리하는 기술)를 적용해, 모델이 전체적인 추론 과정을 한꺼번에 조망하고 수정할 수 있게 설계되었다. 자세한 연구 내용은 arXiv 논문에서 확인할 수 있다.

기존 자기회귀 모델과의 차이점

예전에는 모델이 한 번 단어를 선택하면 그 선택이 다음 단계의 기반이 되어 오류가 누적되는 구조였다. 이를 흔히 노출 편향(Exposure bias, 학습 시와 실제 생성 시의 데이터 분포 차이로 발생하는 오류) 문제라고 부른다. 하지만 LaDiR은 단어를 하나씩 순차적으로 확정 짓는 대신, 잠재 공간에서 여러 가능성을 동시에 탐색하고 반복적으로 노이즈를 제거하며 정답에 가까운 추론 경로를 생성한다. 비유하자면, 기존 모델이 한 번 쓴 글을 고치지 않고 끝까지 밀고 나가는 방식이라면, LaDiR은 글의 전체 구조를 머릿속에 그린 뒤 여러 번 퇴고를 거쳐 완성도를 높이는 방식이다. 이러한 접근은 특히 수학적 문제 해결이나 복잡한 계획 수립처럼 단계별 논리가 중요한 작업에서 큰 차이를 만든다.

추론 성능과 향후 전망

개발자가 바로 체감하는 변화는 모델의 추론 정확도와 해석 가능성의 동시 향상이다. 연구팀이 수학적 추론 및 계획 수립 벤치마크(성능 평가 지표)를 통해 검증한 결과, LaDiR은 기존의 단순 자기회귀 방식이나 다른 잠재 추론 기법들보다 일관되게 높은 정확도를 보였다. 무엇보다 추론 과정이 압축된 토큰 형태로 관리되기에 모델이 왜 그런 결론에 도달했는지 분석하기가 훨씬 수월해졌다. 이는 단순히 정답률을 높이는 것을 넘어, 인공지능이 자신의 생각을 스스로 검토하고 수정하는 자율적 추론 시대로 나아가는 중요한 전환점이 될 것이다.