1년. 이 수치는 arXiv(학술 논문 사전 공개 저장소)가 생성형 AI의 환각 현상을 방치한 저자에게 내리는 이용 금지 기간이다. 연구자에게는 커리어의 공백이 생기는 치명적인 정지 처분과 같다. 그런데 이번 조치는 단순한 실수에 대한 징계가 아니라, AI 결과물을 검증하지 않은 태만함에 대한 경고다. 이번 주 해외 연구 커뮤니티에서는 논문 속에 LLM(거대 언어 모델)이 남긴 흔적을 그대로 둔 채 제출했다가 제재를 받을 뻔한 사례들이 공유되며 긴장감이 흐르고 있다.

arXiv 행동 강령과 AI 책임 소재

arXiv는 최근 업데이트된 Code of Conduct(행동 강령)를 통해 논문 저자의 책임을 명확히 규정했다. 저자로 이름을 올리는 행위는 내용 생성 방식과 관계없이 논문 전체에 대한 책임을 지는 것임을 명시했다. 생성형 AI 도구가 만든 부적절한 언어, 표절된 내용, 편향된 내용, 오류, 실수, 잘못된 참고문헌, 오해를 부르는 내용이 과학 저작물에 포함되면 그 책임은 전적으로 저자에게 귀속된다. 특히 저자가 LLM 생성 결과를 확인하지 않았다는 명백한 증거가 발견되면, arXiv는 해당 논문의 어떤 내용도 신뢰할 수 없다고 판단한다.

이에 따른 제재는 1년간의 arXiv 이용 금지다. 제재 기간이 끝난 후 다시 논문을 제출하려면, 평판 있는 동료심사 학술 venue(전문가들의 검토를 거쳐 논문을 게재하는 학술지나 컨퍼런스)에서 먼저 수락되었다는 증빙을 제출해야 한다. 명백한 증거로 간주되는 사례는 환각 참고문헌과 LLM의 메타 코멘트다. 환각 참고문헌이란 존재하지 않는 논문 제목이나 저자를 AI가 그럴듯하게 만들어낸 것을 말한다. 메타 코멘트는 AI가 답변 과정에서 덧붙이는 안내 문구다. 예를 들어 "here is a 200 word summary; would you like me to make any changes?" 같은 문장이나 "the data in this table is illustrative, fill it in with the real numbers from your experiments" 같은 안내 문구가 포함된 경우가 이에 해당한다. arXiv는 이러한 흔적을 저자가 논문을 읽지 않고 그대로 복사해 붙였다는 결정적 증거로 본다.

검증 태만을 정의하는 새로운 기준점

예전에는 AI가 만든 가짜 참고문헌을 단순한 기술적 오류나 환각 현상으로 치부하며 저자의 단순 실수로 여기는 경향이 있었다. 이제는 이를 저자의 검증 태만이라는 윤리적 결함으로 정의하는 기준점이 세워졌다. 과거의 논문 제출 과정이 내용의 정합성을 확인하는 단계였다면, 이제는 AI가 개입한 흔적을 지우고 검증했는지를 확인하는 감사 단계가 추가된 셈이다. 개발자가 코드를 짤 때 AI가 제안한 라이브러리를 그대로 복사해 넣었다가 컴파일 에러가 나는 것과 비슷하지만, 학계에서는 이를 단순 에러가 아닌 신뢰성 파괴로 본다.

특히 메타 코멘트의 방치는 단순 오타와는 궤를 달리한다. 이는 저자가 생성된 텍스트를 단 한 번도 읽지 않고 그대로 제출했다는 사실을 입증하기 때문이다. 기존에는 Preprint(정식 출판 전 공개 논문)의 특성상 빠른 공유가 우선시되었으나, 이제는 AI의 개입으로 인해 사전 공개 단계에서도 엄격한 품질 관리가 요구되고 있다. 동료심사 학술지의 수락 증빙을 복귀 조건으로 내건 것은, AI가 훼손한 학술적 신뢰를 제3의 전문가 집단을 통해 다시 검증받으라는 강제적 장치다. 이는 AI를 도구로 사용하는 것과 AI에게 저술을 위임하는 것의 경계를 명확히 긋는 조치로 관찰된다.

AI를 활용한 연구의 핵심은 이제 생성 능력이 아니라, 생성된 결과물을 얼마나 엄격하게 감사할 수 있느냐는 검증 능력으로 옮겨갔다.