이번 주 해외 개발자 커뮤니티의 한 게시글에 구글 드라이브 링크 하나가 올라왔다. 링크 속에는 정식 출판되지 않은 PDF 문서 하나가 담겨 있었다. 제목부터 심상치 않은 이 문서는 현재 AI 업계의 주류 흐름을 정면으로 부정하는 내용을 담고 있다.

결정론적 아키텍처와 멀티 에이전트의 충돌

유출된 문서의 제목은 AI 자율 교정의 구조적 모순과 결정론적 아키텍처(입력값이 같으면 항상 동일한 결과가 나오도록 설계된 구조)에 관한 기술 백서다. 이 문서는 최근 많은 기업이 도입하는 멀티 에이전트(여러 개의 AI 모델이 서로 역할을 나누어 협업하는 방식) 시스템의 위험성을 경고한다.

문서 후반부에는 PoC(개념 증명, 아이디어를 실제로 구현해 가능성을 확인하는 과정) 데이터가 포함되어 있어, 특정 딥테크 기업이나 연구소의 내부 자료일 가능성이 크다. 핵심 주장은 AI에게 자율성을 부여해 스스로 문제를 해결하게 만드는 현재의 방식이 틀렸다는 것이다. 대신 AI를 렌더링 부품(데이터를 최종적인 형태로 그려내어 보여주는 부품)처럼 제한적으로 사용해야 한다고 제안한다.

자율적 판단이 만드는 구조적 모순

지금까지의 AI 발전 방향은 AI가 스스로 계획을 세우고 실행하는 자율성에 집중했다. 쉽게 말하면 AI에게 문제 해결의 전권을 맡기고 결과만 확인하는 방식이다. 하지만 이 문서는 여기서 구조적 모순이 발생한다고 분석한다.

비유하자면 멀티 에이전트 방식은 각 분야의 전문가들을 모아놓은 팀과 같다. 팀원들이 서로 의견을 주고받으며 정답을 찾아가지만, 때로는 서로의 오류를 정답으로 오인하거나 엉뚱한 방향으로 논의가 튀는 일이 발생한다. 자율성이 높을수록 결과의 예측 가능성은 낮아진다.

특히 자율 교정 과정에서 심각한 문제가 생긴다. AI가 내놓은 답을 다른 AI가 검토하고 수정하는 구조인데, 검토하는 AI 역시 확률에 기반해 작동하므로 수정 과정 자체가 또 다른 오류를 낳을 수 있다. 결국 누가 옳은지 판단할 기준이 사라지는 무한 루프에 빠지게 된다.

반면 결정론적 아키텍처는 정교하게 설계된 자동판매기와 같다. 버튼을 누르면 정해진 경로를 통해 정확히 원하는 제품이 나온다. AI를 렌더링 부품으로 쓴다는 것은 논리적인 판단과 경로 설계는 사람이 정한 규칙에 맡기고, AI는 그 결과를 사람이 읽기 좋은 문장으로 바꾸는 역할만 수행하게 하는 것이다.

이렇게 하면 AI가 거짓 정보를 만들어내는 환각 현상을 원천적으로 차단할 수 있다. 판단의 주도권을 AI가 아닌 시스템 설계자가 가짐으로써, 어떤 입력이 들어와도 항상 일관된 고품질의 결과물을 얻을 수 있다는 논리다. 이는 현재 빅테크 기업들이 추구하는 자율적 AI 에이전트의 방향성과는 완전히 상반되는 관점이다.

지능의 고도화보다 중요한 것은 결과의 예측 가능성이라는 선언이다.