LLM 미세조정 시 저작권 도서 내용이 그대로 출력되는 현상 확인

최근 개발자 커뮤니티에서는 거대언어모델(LLM)의 정렬(Alignment, 모델이 안전하고 의도된 대로 동작하도록 조정하는 과정)이 사실상 임시방편에 불과하다는 논의가 뜨겁다. 특히 미세조정(Finetuning, 특정 데이터를 추가 학습시켜 모델의 성능을 최적화하는 과정)을 거친 모델이 학습 데이터로 사용된 저작권 도서의 내용을 그대로 뱉어내는 현상이 포착되면서 보안과 저작권 이슈가 다시 수면 위로 떠올랐다. 이번에 공개된 연구는 모델이 학습 과정에서 잊은 줄 알았던 정보를 미세조정을 통해 어떻게 다시 불러오는지 그 메커니즘을 파헤쳤다.

미세조정이 불러온 저작권 도서의 기억 복원

연구팀은 이번 연구를 통해 미세조정이 모델 내부에 잠재되어 있던 저작권 도서의 내용을 활성화한다는 사실을 확인했다. 공식 논문과 함께 공개된 GitHub 저장소에는 데이터 전처리 파이프라인, 미세조정 스크립트, 기억력 평가 코드 등이 포함되어 있다. 연구팀은 저작권 문제로 인해 실제 도서 전체 내용은 제외하고 코맥 매카시의 소설 '더 로드'의 일부 발췌본만을 예시 데이터로 제공한다. 모델 학습과 평가를 위해서는 각자 보유한 EPUB 파일을 JSON 형식으로 변환해야 하며, 300에서 500단어 단위로 텍스트를 분할하는 전처리 과정을 거친다. 500단어가 넘는 경우 OpenAI의 GPT-4o를 활용해 문법적 경계에 맞춰 다시 분할하는 방식을 사용한다.

도구 설정 및 미세조정 실행 환경

개발자가 환경을 구축할 때는 의존성 관리 도구인 uv(파이썬 패키지 관리자)를 사용하는 것이 권장된다. 설치 및 환경 설정 명령어는 다음과 같다.

bash

의존성 설치

uv venv

source .venv/bin/activate

uv pip install -r requirements.txt

Gemini 및 DeepSeek 미세조정을 위한 추가 설치

uv pip install google-generativeai

uv pip install tinker-api

API 키 설정의 경우 Tinker(DeepSeek 모델을 활용하기 위한 API 서비스)와 OpenAI 키가 필수적이다. Tinker 키는 공식 사이트에서 발급받을 수 있다. 평가를 위한 NLTK(자연어 처리를 위한 파이썬 라이브러리) 데이터 다운로드도 잊지 말아야 한다. 미세조정은 OpenAI, Vertex AI(Google의 머신러닝 플랫폼), Tinker API를 통해 수행할 수 있으며, 연구팀은 LoRA(모델의 일부 파라미터만 학습시켜 효율을 높이는 기법)를 사용하여 3 에포크(Epoch, 전체 데이터를 3번 반복 학습) 동안 학습을 진행했다.

기존 정렬 방식과 달라진 기억력 평가 기준

예전에는 모델이 학습 데이터를 기억하지 못하도록 하는 것이 정렬의 핵심 목표였다면, 이제는 미세조정이라는 특정 행위가 어떻게 그 방어막을 뚫고 정보를 추출하는지가 관건이다. 연구팀은 4가지 기억력 측정 지표를 제시하며, 모델이 프롬프트로 주어진 부분 외의 원문까지 얼마나 정확하게 복원하는지를 분석했다. 특히 서로 다른 모델들이 동일한 영역을 기억하는지 확인하기 위해 자카드 유사도(Jaccard similarity, 두 집합의 유사도를 측정하는 통계적 방법)를 계산했다. 이는 단순히 모델의 성능을 측정하는 것을 넘어, 미세조정이 모델의 안전장치를 어떻게 무력화하는지 보여주는 새로운 지표가 될 전망이다.