공공기관의 정책 보고서에서 존재하지 않는 문헌이 발견되는 일이 벌어졌다. 최근 남아프리카공화국 내무부(DHA, 시민권 및 이민 정책을 담당하는 정부 부처)가 발표한 개정 백서의 참고문헌 목록에서 인공지능이 지어낸 가짜 자료들이 대거 적발된 것이다. 이번 사건은 단순히 오타를 수정하는 수준을 넘어, 담당 공무원들이 징계 절차를 밟게 되는 사태로 번졌다.

내무부 공무원 2명 직무 정지와 전수 조사 착수

내무부는 지난 목요일, 문제가 된 정책 문서 작성에 관여한 공무원 2명에 대해 직무 정지 처분을 내렸다고 밝혔다. 징계 대상에는 시민권 및 이민 부서의 최고 책임자인 국장급 인사가 포함되었으며, 문서 초안을 작성한 담당자 역시 다음 주 초부터 직무 정지가 적용될 예정이다. 이번 조치는 해당 문서의 참고문헌 목록이 대규모 언어 모델(LLM, 방대한 데이터를 학습해 문장을 생성하는 인공지능)이 만들어낸 환각(Hallucination) 현상으로 채워졌다는 사실이 확인된 데 따른 것이다. 환각이란 인공지능이 학습 데이터가 부족하거나 논리적 오류를 일으켜 사실이 아닌 정보를 마치 진실인 것처럼 그럴듯하게 꾸며내는 현상을 말한다. 내무부는 이번 사태를 수습하기 위해 두 곳의 독립적인 법무법인을 선임했다. 이들은 징계 절차를 관리하는 동시에, 2022년 11월 30일 이후 내무부가 생산한 모든 정책 문서를 전수 조사할 계획이다. 2022년 11월 30일은 OpenAI의 ChatGPT가 대중에게 처음 공개된 시점이다.

AI 생성 인용구와 검증 절차의 부재

예전에는 정책 문서를 작성할 때 담당자가 직접 도서관이나 데이터베이스를 뒤져 실제 존재하는 논문과 보고서를 인용하는 것이 당연한 절차였다. 하지만 이제는 인공지능에게 참고문헌 목록을 만들어달라고 요청하는 방식이 도입되면서 문제가 발생했다. 이번에 적발된 참고문헌들은 문서 본문 어디에서도 인용되지 않았음에도 불구하고, 마치 근거 자료인 것처럼 문서 뒤편에 덧붙여져 있었다. 이는 마치 숙제를 할 때 인터넷 검색 대신 인공지능에게 아무 말이나 지어내라고 시킨 뒤, 그 내용을 확인도 하지 않고 제출한 것과 다름없다. 앞서 통신디지털기술부(DCDT, 국가 통신 및 디지털 정책을 총괄하는 부처) 역시 AI가 생성한 허구의 인용구가 포함된 국가 AI 정책 초안을 공개했다가 이를 철회하는 소동을 겪은 바 있다. 당시 솔리 말라치 장관은 인공지능이 만든 인용구를 적절한 검증 없이 포함한 것이 이번 사태의 원인이라고 지적했다.

정책 문서의 신뢰성과 향후 대응 방향

개발자가 바로 체감하는 변화는 인공지능을 도구로 사용할 때 발생하는 책임 소재가 더욱 명확해졌다는 점이다. 내무부는 이번 사건을 계기로 내부 승인 절차에 인공지능 사용 여부를 확인하고 선언하는 검증 단계를 의무화하기로 했다. 비록 참고문헌 목록은 삭제되었지만, 내무부는 시민권 및 이민 관련 정책의 핵심 내용은 정부의 입장을 정확히 반영하고 있으며 정책 자체에는 문제가 없다는 입장을 고수하고 있다. 인공지능은 조직의 운영 방식을 바꾸는 혁신적인 기술이지만, 동시에 잘못된 정보를 사실처럼 포장하는 파괴적인 측면도 가지고 있다. 결국 기술의 편리함 뒤에 숨겨진 위험을 관리하는 것은 결국 사람의 몫이며, 이제는 인공지능의 결과물을 무비판적으로 수용하는 시대가 끝났음을 보여준다.