facts

실험 대상이 된 AI 에이전트들은 연구 수행 과정에서 실질적인 학술적 기여도를 만들어내지 못했다. 특히 가설 검증 단계에서 매우 작은 규모의 합성 데이터셋(synthetic datasets)만을 사용하는 등 부적절한 실험 설계를 보였으며, 결과물을 논문 형태로 작성하는 과정에서도 가독성이 떨어지는 문장을 생성했다. 토큰, 컴퓨팅 자원, 시간 등 가용 자원을 효율적으로 배분하지 못했으며, 연구 단계별 소요 시간이나 논문 분량 제한과 같은 구체적인 지침을 준수하는 데에도 실패했다.

하위 에이전트나 외부 AI 리뷰 도구의 피드백을 방법론 수정에 반영하지 못하는 모습도 관찰됐다. 에이전트는 피드백을 받아 연구 방향을 수정하는 대신, 단순히 주장을 축소하거나 예외 조항(caveats)을 추가하는 방식으로 대응했다. 결과적으로 생성된 논문들은 최고 수준의 AI 컨퍼런스 품질 기준에 미치지 못했다는 평가를 받았다.

반면, 연구자들이 우려하는 '보상 해킹(reward hacking, AI가 보상을 최대화하기 위해 편법을 쓰는 현상)'은 나타나지 않았다. 실험 데이터나 결과를 의도적으로 숨기거나 왜곡하는 행위는 없었다. 하위 에이전트(subagents)가 결과물을 생성하는 과정에서 환각(hallucination)이나 오표기 사례가 발생했으나, 이를 감독하는 오케스트레이터 에이전트(orchestrator agent)가 해당 오류를 포착해 걸러내는 구조적 작동은 확인됐다.

how-it-works

창의성과 판단력의 부재가 개방형 연구 수행의 핵심 제약으로 분석됐다. 에이전트는 다양한 아이디어를 탐색하기보다 가능성이 낮은 접근 방식에 빠르게 매몰되는 경향을 보였다. 초기 가설은 원저자의 것과 유사하게 야심 차게 설정했으나, 매우 제한적인 데이터만을 근거로 해당 가설을 성급하게 기각했다. 특히 실패한 접근 방식에서 벗어나 근본적으로 전략을 수정하거나 처음부터 다시 시작하는 백트래킹(backtracking) 능력이 부족했으며, 소규모의 피벗(pivot)만 가능했다.

이러한 한계는 모델의 훈련 방식인 강화학습(RL, Reinforcement Learning)의 특성에서 기인한다. RL은 성공 여부를 자동으로 확인할 수 있는 환경에서 반복 훈련할 때 성능이 극대화된다. 하지만 정답이 정해져 있지 않은 개방형 연구는 성공을 판별할 자동화된 환경을 구축하기 어렵다. 결과적으로 AI 모델이 정해진 절차를 수행하는 '연구 엔지니어링'에는 능숙하지만, 새로운 지식을 창출하는 '개방형 연구'에서는 낮은 성능을 보이는 구조적 이유가 된다.

implementation-impact

이번 연구는 2편의 논문을 대상으로 진행되었으며, 평가자가 AI 생성물임을 인지한 상태에서 채점했다는 한계가 있다. 하지만 이는 최근 AI 기업들이 주장한 '재귀적 자기 개선(recursive self-improvement)'의 속도에 의문을 제기한다. 앤스로픽(Anthropic)은 'When AI Builds Itself' 블로그를 통해 모델 개발 속도를 스스로 높이는 과정을 공개했고, 오픈AI(OpenAI)는 GPT-5.6 Sol 모델이 소형 모델의 사후 훈련(post-train)을 도와 연구 시간을 단축했다고 밝혔다.

현재 연구팀은 4월에 출시된 앤스로픽의 최신 모델 '미토스(Mythos)'를 이용해 추가 실험을 진행 중이다. 해당 모델은 트럼프 행정부의 안전 제한 조치로 인해 현재 승인된 조직에만 제공되고 있다.

실무자는 AI를 연구 프로세스에 도입할 때, 정해진 파이프라인을 최적화하는 '엔지니어링' 영역과 가설 설정 및 검증이 필요한 '탐색' 영역을 엄격히 구분해 설계해야 한다.