발표에서 확인된 핵심 사실

과제나 기사를 작성할 때 AI가 쓴 글인지 가려내는 표절 검사기의 작동 방식은 늘 관심 대상이다. 2026년 초 기준, 주류 LLM(대규모 언어 모델)이 생성한 텍스트는 인간이 작성한 콘텐츠와 구별되는 강한 통계적 패턴을 보인다. 실제 테스트 세트에서 단일 문장을 탐지하는 정확도는 약 85%를 기록했다. 이는 복잡한 딥러닝 구조 없이 전통적인 머신러닝 모델만으로도 AI 생성 텍스트를 효과적으로 구분할 수 있다는 사실을 입증한다.

분류 모델 구현에는 scikit-learn(사이킷런, 파이썬 머신러닝 라이브러리)의 TF-IDF(단어 빈도-역문서 빈도)와 LinearSVC(선형 서포트 벡터 머신)를 결합했다. TF-IDF로 텍스트의 통계적 특성을 추출하고 LinearSVC로 AI 작성 여부를 판별하는 구조다. 데이터 전처리 단계에서는 텍스트를 중국어 문장 부호로 분리하고 비중국어 및 영어 문자를 제거해 노이즈를 줄였다. 이렇게 정제된 데이터를 바탕으로 문장 수준의 정밀한 분류를 수행했다.

이러한 방식은 고비용의 LLM 추론 없이도 가벼운 라이브러리 수준에서 실시간 AI 텍스트 필터링을 구현할 수 있게 한다. 서버 자원을 많이 사용하는 거대 모델 대신 효율적인 머신러닝 알고리즘을 배치해 탐지 속도를 높이고 운영 비용을 낮췄다. 개발자는 이를 통해 서비스 환경에 맞는 가벼운 AI 탐지 모듈을 직접 설계하고 코드에 즉시 적용할 수 있다.

텍스트 퍼플렉시티(text perplexity) 기반의 탐지

정교한 확률 모델로 AI의 흔적을 추적하려는 시도는 이론적 정밀함을 갖췄으나, 실제 운영 환경에서는 단순한 통계적 접근보다 훨씬 무거운 비용과 낮은 정확도를 기록한다. 텍스트 퍼플렉시티(text perplexity, LLM이 특정 단어의 등장 확률을 추정하는 정도) 기반의 탐지 방식이 실용성 부족으로 실패한 이유다. 이 방식은 LLM을 사용하여 문장 내 단어의 등장 확률을 추정하고 이를 통해 AI 생성 여부를 판별하는 구조를 가진다. 하지만 실제 적용 과정에서 오탐(false positives)과 미탐(false negatives)이 빈번하게 발생하며 판별의 신뢰도를 떨어뜨렸다. 특히 AI가 쓴 글과 사람이 쓴 글을 명확히 구분 짓는 적절한 임계값을 설정하는 작업이 사실상 불가능했다. 여기에 매번 LLM을 구동해야 하는 높은 추론 비용이 추가로 발생하며, 특정 모델에서 학습된 기준이 다른 모델의 생성 텍스트에는 적용되지 않는 낮은 일반화 성능 문제까지 겹쳤다.

실무 적용을 위한 구체적인 구현체는 오픈 소스로 제공되어 진입 장벽을 낮춘다. 해당 프로젝트의 핵심 코드 초안과 이미 훈련을 마친 모델 파일은 lyc8503/AITextDetector 저장소에 모두 공개되어 있다. 깃허브(GitHub, 소프트웨어 버전 관리 및 협업 플랫폼)에 올라온 이 리소스를 활용하면 탐지 모델의 실제 작동 구조를 즉시 검증하고 로컬 환경에 배포할 수 있다. 개발자는 공개된 모델 파일을 자신의 데이터셋에 직접 적용해 보며, 고비용의 LLM 추론 없이도 실시간 텍스트 필터링이 가능한지 여부를 빠르게 판단한다.

7가지의 서로 다른 LLM 모델을 사용하여 AI 생성 샘플

"데이터의 오염을 막아야 한다"는 연구자의 판단에 따라, 학습 데이터셋 구축 단계부터 생성 모델의 다양성을 확보하는 전략을 택했다. 먼저 gemini-3-flash(구글의 경량 모델)를 사용해 요약문을 생성했다. 이 요약문을 다시 gemini-3-pro, qwen-coder-plus, glm-5, glm-4.7, kimi-k2.5, doubao-seed-code, deepseek-v3.2 등 7가지 서로 다른 모델에 입력하여 전체 기사를 재생성하는 방식을 사용했다. 이 과정을 통해 특정 모델의 문체에 매몰되지 않은 광범위한 AI 생성 샘플 데이터를 확보했다.

대조군으로 활용할 인간 작성 텍스트는 ChatGPT 등장 이전인 2010년부터 2022년 사이에 게시된 글을 수집했다. 특정 플랫폼에서 추출한 데이터 중 해당 기간에 게시된 글만 필터링했다. 이후 참여도가 매우 낮거나 글의 길이가 지나치게 짧은 샘플을 제외하는 정제 과정을 거쳤다. 최종적으로 무작위 샘플링을 통해 약 10,000건의 인간 작성 텍스트를 학습 데이터로 확정했다.

이처럼 정교하게 설계된 데이터셋은 모델의 판별 정확도를 결정짓는 핵심 요소가 된다. 고비용의 LLM 추론 과정을 거치지 않고도 가벼운 JS(자바스크립트) 라이브러리 수준에서 실시간 AI 텍스트 필터링을 구현할 수 있는 기술적 기반을 마련했다.

TF-IDF와 LinearSVC 조합의 고전적 머신러닝 모델이 문장 단위에서 85%의 탐지 정확도를 기록하며 LLM 없이도 AI 텍스트를 가려낼 수 있음을 증명했다. 7개 모델의 데이터셋과 다수결 투표 구조를 통해 확보한 정밀도는 탐지 비용을 획기적으로 낮춘다.

이제 개발자는 고비용의 LLM 추론 대신 가벼운 JS 라이브러리 수준에서 실시간 필터링을 구현할 수 있는 기술적 근거를 갖게 되었다. AI 텍스트 탐지의 실효성은 모델의 규모가 아니라 데이터의 다양성과 효율적인 분류 체계의 조합이 결정한다.