업무를 막는 가드레일, CCMS로 선택적 해제

AI에게 업무를 요청했을 때, 명백한 비즈니스 목적임에도 안전 정책을 이유로 답변을 거절당해 답답했던 경험이 있을 것이다. 보안 팀이 직원 교육을 위해 피싱 메일 샘플을 만들어달라고 하거나, 법무 팀이 민감한 증거 자료를 요약해달라고 요청해도 AI는 이를 유해한 콘텐츠로 판단해 거절하곤 한다. 아마존 노바는 이러한 과잉 거절 문제를 해결하기 위해 CCMS(Customizable Content Moderation Settings, 맞춤형 콘텐츠 모더레이션 설정) 기능을 도입했다. 이는 모델의 안전 장치가 오히려 업무의 효율을 떨어뜨리는 병목이 되는 상황을 정면으로 다룬다.

기업이 파운데이션 모델을 도입할 때 겪는 가장 흔한 문제는 기본 콘텐츠 모더레이션이 정당한 비즈니스 케이스까지 차단하는 과잉 거절 현상이다. 미디어 기업이 성인용 언어가 포함된 대본을 요약하거나, 사이버 보안 기업이 실제 위협 상황을 시뮬레이션하려는 시도는 모두 정당한 업무 범위에 속한다. 특히 보안 팀의 경우, 공격자의 수법을 학습해 방어 체계를 세우려는 방어적 목적의 요청임에도 불구하고 모델이 이를 공격적인 시도로 오인해 답변을 회피하는 경우가 많다. CCMS는 승인된 고객이 책임감 있는 AI(RAI, Responsible AI)의 4가지 핵심 기둥에 해당하는 가드레일을 선택적으로 조정할 수 있게 하여 이 문제를 해결한다.

다만 모든 안전 설정을 임의로 해제할 수 있는 것은 아니다. 아동 보호나 개인정보 보호와 같이 사회적으로 반드시 지켜야 할 필수 제어 항목은 비구성 항목으로 분류되어 설정 변경이 불가능하도록 유지했다. 이는 비즈니스 목적의 유연성을 확보하면서도, 최소한의 윤리적 안전망은 타협하지 않겠다는 설계 원칙을 반영한 것이다. 이렇게 가드레일이 조정된 커스텀 모델은 고유한 `ARN`(Amazon Resource Name, 아마존 리소스 이름)으로 식별되어 관리된다.

실무자는 추론 시 이 특정 `ARN`을 호출함으로써 자신이 정의한 가드레일 수준이 적용된 모델을 즉시 사용할 수 있다. 기존에는 프롬프트 엔지니어링을 통해 모델의 거절 반응을 우회하려 시도했지만, 이는 모델 파라미터 깊숙이 내재된 거절 성향을 완전히 극복하기 어렵다는 한계가 있었다. 모델이 이미 특정 패턴에 대해 거절하도록 정렬되어 있다면, 입력 문구를 바꾸는 것만으로는 한계가 명확하기 때문이다. CCMS는 모델 레벨에서 정책을 직접 조정함으로써, 도메인 특성에 맞는 가드레일 수준을 결정하고 이를 실제 서비스 워크플로에 안정적으로 이식할 수 있는 실무적 판단 기준을 제공한다.

기술이 실제로 작동하는 방식

돈은 항상 비용이 적게 드는 효율적인 방향으로 흐른다. 거대 모델의 안전 정책을 수정하기 위해 수조 개의 파라미터를 가진 모델 전체를 다시 학습시키는 것은 천문학적인 컴퓨팅 자원과 시간이 들어 실무적으로 불가능에 가깝다. 아마존 노바는 이를 해결하기 위해 언러닝(Unlearning) 기술을 도입했다. 언러닝은 모델을 처음부터 다시 학습시키지 않고 이미 학습된 파라미터 뭉치에서 특정 행동 패턴만 선택적으로 제거하는 기술이다. 모델이 특정 질문에 대해 무조건 거절하도록 학습된 가중치 경로를 찾아내어 그 연결 고리를 끊어내는 방식으로 작동한다.

이 과정의 핵심은 LoRA(Low-Rank Adaptation) 어댑터를 사용하는 구조에 있다. LoRA는 모델의 전체 가중치를 직접 수정하는 대신, 기존 가중치 옆에 아주 작은 크기의 학습 가능한 행렬을 추가해 업데이트하는 기법이다. 아마존 노바는 이 어댑터를 학습시켜 특정 정책에 대해 모델이 가지고 있던 기존의 정렬 상태를 역전시킨다. 베이스 모델의 원본 가중치는 고정된 상태로 유지하며, 추가된 어댑터가 추론 과정에서 모델의 출력을 특정 방향으로 유도하는 조종 키 역할을 한다. 결과적으로 원본 모델을 건드리지 않고도 특정 정책 영역에서만 거절을 멈추는 커스텀 모델 변형체를 빠르게 생성한다.

실제 작업 워크플로는 네 단계의 순차적 과정으로 진행된다. 우선 언러닝이 필요한 타겟 정책 영역, 예를 들어 보안 시뮬레이션이나 민감 콘텐츠 처리와 같은 영역을 대표하는 프롬프트 세트를 정교하게 준비한다. 이 프롬프트를 입력했을 때 모델이 출력하는 기존의 거절 답변을 망각 응답(forgetting)으로 설정하고, 실무자가 원하는 정답 형태인 타겟 응답(target)을 쌍으로 생성한다. 이 데이터셋을 rDPO 학습에 투입해 어댑터의 가중치를 최적화한 뒤, 최종적으로 완성된 LoRA 어댑터를 내보내어 서빙 환경에 배포한다.

이러한 LoRA 방식의 채택은 전체 랭크 파인튜닝(Full-rank Fine-tuning)과 비교했을 때 학습 효율과 추론 비용 면에서 실무적인 이점을 가진다. 모든 파라미터를 업데이트하는 전체 랭크 방식은 학습 시간이 기하급수적으로 늘어날 뿐 아니라, 모델 버전마다 거대한 가중치 파일을 별도로 저장하고 로드해야 하므로 추론 시 메모리 비용이 급증한다. 반면 LoRA는 베이스 모델 하나에 가벼운 어댑터 파일만 갈아 끼우면 되므로, 기업이 도메인별로 서로 다른 가드레일 수준을 설정해 운영할 때 인프라 비용을 최소화하며 유연하게 대응할 수 있다.

NPO를 넘어 rDPO로: 잊는 것과 배우는 것의 동시 수행

명백한 업무 요청임에도 AI가 안전 정책을 이유로 답변을 거절하면 실무자는 작업 흐름이 끊기는 직접적인 시간 손실을 입는다. 이를 해결하기 위해 기본적으로 사용되는 DPO(Direct Preference Optimization, 직접 선호 최적화)는 참조 모델을 기준으로 선호하는 응답의 순위를 높이고 비선호 응답의 순위를 낮추는 최적화 방식이다. NPO(Negative Preference Optimization, 부정 선호 최적화)는 여기서 긍정 샘플을 제거해 모델이 기존에 학습된 거절 행동에서 멀어지게만 유도한다. 하지만 NPO는 모델에게 무엇을 잊어야 하는지만 가르칠 뿐 고품질의 대안 응답으로 가는 방향을 제시하지 않아 결과적으로 출력 품질이 떨어지는 위험이 있다.

아마존 노바는 rDPO(Reverse Direct Preference Optimization, 역방향 직접 선호 최적화)를 통해 잊는 것과 배우는 것을 동시에 수행한다. rDPO는 DPO의 선호 쌍을 역전시켜 망각 응답인 `yf`에서 멀어지는 동시에 타겟 응답인 `yt`로 가깝게 유도하는 방식을 사용한다. 이는 모델이 원래의 포스트 트레이닝 단계에서 적용받았던 DPO 학습 목적을 정반대로 뒤집어 적용한 것이다. 단순히 거절 응답을 삭제하는 수준을 넘어 비즈니스 목적에 맞는 정답 응답을 생성하도록 유도하는 이중 목적을 설정함으로써 응답 품질 저하 문제를 해결하고 학습 효율을 높였다.

학습 효율과 수렴 속도에서도 rDPO는 NPO보다 우월한 성능을 기록했다. rDPO는 약 30단계(step)의 학습 과정에서 학습 정확도가 거의 1에 수렴하며 매우 빠르게 타겟 응답으로 이동했다. 반면 NPO는 학습 정확도에 큰 변화가 없었으며 선택된 응답에 대한 학습 보상이 지속적으로 하락하는 경향을 보였다. 베이스 모델에 내재된 안전 정렬 상태가 매우 강하기 때문에 단순히 거절 응답에서 멀어지게 하는 NPO 방식으로는 모델의 행동을 타겟 응답으로 옮기기에 한계가 있다는 사실이 확인되었다.

실무자는 전면 재학습이라는 비용 부담 없이 LoRA(Low-Rank Adaptation, 저차원 적응) 어댑터 교체만으로 도메인별 가드레일 수준을 결정할 수 있다. 전체 랭크 파인튜닝 대비 학습 효율이 높고 추론 비용이 낮은 LoRA 방식을 채택해 실무 적용성을 높였다. 타겟 정책 영역의 프롬프트를 준비하고 망각 응답과 타겟 응답을 생성한 뒤 rDPO로 학습시켜 어댑터를 내보내는 워크플로를 따른다. 베이스 모델의 가중치를 수정하지 않고 어댑터만 교체하여 비즈니스 케이스에 맞는 최적의 거절률을 설정하는 것이 핵심적인 판단 기준이 된다.

거절률 53.74%p 감소와 성능 유지의 트레이드오프

정당한 업무 요청임에도 AI가 안전 정책을 이유로 답변을 거절해 화면 앞에서 답답함을 느꼈던 실무자가 많았을 것이다. 아마존 노바는 rDPO 기법을 적용해 이러한 과잉 거절 문제를 해결했다. 안전(Safety) 카테고리의 거절률은 기존 86.51%에서 32.77%로 낮아졌으며, 이는 53.74%p의 하락 폭을 기록한 수치다. 보안(Security) 영역에서는 46%p, 민감 콘텐츠(Sensitive Content)에서는 45%p, 공정성(Fairness) 영역에서는 28%p의 거절률이 각각 감소했다. 비즈니스 목적의 정당한 요청이 차단되는 병목을 수치로 증명하고 제거한 결과다.

rDPO(Reverse Direct Preference Optimization, 역 직접 선호 최적화)는 단순히 특정 응답을 잊게 만드는 NPO(Negative Preference Optimization, 부정 선호 최적화)와 최적화 방식이 다르다. NPO는 모델이 학습한 거절 행동에서 멀어지게만 하여 출력 품질이 떨어질 위험이 있다. 반면 rDPO는 잊어야 할 응답에서 멀어지는 동시에, 우리가 원하는 타겟 응답으로 모델을 유도한다. 이 방식은 학습 효율성도 높아 약 30단계(step) 정도의 학습만으로도 정확도가 거의 1에 수렴하는 결과를 보였다. 단순한 망각을 넘어 정답으로 유도하는 경로를 설계해 학습 속도와 품질을 동시에 잡았다.

성능 측정 결과, 지시 이행(Instruction following) 능력은 1.55%p, 수학(Math Mini) 능력은 1.20%p, 코드 생성(MBXP Python) 능력은 1.80%p 하락하는 데 그쳤다. 모델의 기본 지능을 유지하면서 특정 정책만 제거하는 것이 이번 기술의 핵심이다. 이러한 최소한의 성능 저하는 모델 전체를 다시 학습시키지 않고 LoRA(Low-Rank Adaptation, 저차원 적응) 어댑터만 학습시켜 적용했기에 가능했다. 기본 지능의 하락 폭을 최소화하면서 특정 거절 성향만 정밀하게 타격해 제거한 셈이다.

실무자는 베이스 모델의 가중치를 수정하지 않고 LoRA 어댑터만 교체해 비즈니스 도메인에 맞는 가드레일 수준을 결정한다. 전체 랭크 파인튜닝보다 학습 효율이 높고 추론 비용이 낮다는 점이 실무적 이점이다. 보안 팀의 피싱 메일 시뮬레이션이나 법무 팀의 민감 증거 처리처럼 특수 목적의 LLM을 운용할 때 유용하다. 프롬프트 엔지니어링으로 해결되지 않는 거절 성향을 모델 레벨에서 제어하는 실질적인 판단 기준으로 삼을 수 있다.

한국 기업의 AI 도입 시 고려할 가드레일 전략

사이버 보안 팀의 한 실무자는 직원 교육용 피싱 메일 초안을 만들려다 AI로부터 안전 정책상 답변할 수 없다는 거절 메시지를 받았다. 정당한 비즈니스 목적의 요청임에도 모델이 과잉 거절하는 상황이다. 법무 팀이 민감한 증거 자료를 처리하거나 미디어 기업이 성인 대상의 대본을 요약할 때도 비슷한 병목이 발생한다. 범용 모델의 기본 가드레일이 특수 도메인의 업무 맥락을 이해하지 못하고 일괄적으로 차단하기 때문이다.

이런 거절 성향은 모델의 파라미터, 즉 내부 가중치에 깊게 내재되어 있다. 프롬프트 엔지니어링으로 우회하려 해도 모델 레벨의 수정 없이는 한계가 명확하다. 이때 대안이 되는 것이 rDPO(Reverse Direct Preference Optimization, 역 직접 선호 최적화) 기법이다. 단순히 특정 응답을 잊게 만드는 NPO(Negative Preference Optimization, 부정 선호 최적화)와 달리, rDPO는 잊어야 할 망각 응답에서 멀어지는 동시에 우리가 원하는 고품질의 타겟 응답으로 모델을 유도한다. 단순히 거절하지 말라고 가르치는 것이 아니라 정답에 가까운 방향을 함께 제시하는 방식이다. 덕분에 모델의 전반적인 출력 품질을 떨어뜨리지 않으면서도 특정 정책 영역에서만 정밀하게 거절 성향을 제거할 수 있다.

기업 입장에서 가장 큰 고민은 비용과 효율이다. 모델 전체를 다시 학습시키는 파인튜닝은 리소스 소모가 너무 크다. 대신 LoRA(Low-Rank Adaptation, 저차원 적응) 기반의 선택적 언러닝을 활용한다. LoRA는 모델 전체 파라미터를 수정하지 않고 작은 크기의 어댑터만 학습시켜 특정 정책의 정렬 상태를 역전시키는 방식이다. 이 방식의 핵심은 모델의 핵심 능력인 코드 생성이나 수학적 추론, 지시 이행 능력을 그대로 유지한다는 점이다. 전체 모델을 다시 학습시키면 성능이 무너질 위험이 크지만, LoRA 어댑터만 사용하면 기존의 범용 성능은 보존하면서 가드레일만 선택적으로 조정할 수 있다.

한국의 보안 기업이나 법무 법인처럼 데이터 민감도가 높고 특수 목적의 LLM 활용이 많은 조직일수록 이 전략이 유효하다. 프롬프트 수정에 시간을 쏟기보다 타겟 정책 영역의 프롬프트를 준비하고, 망각 응답과 타겟 응답 쌍을 만들어 rDPO로 학습시키는 워크플로를 구축하는 것이 빠르다. 이렇게 만들어진 LoRA 어댑터를 서빙 단계에서 교체하는 것만으로 비즈니스 도메인에 맞는 정밀한 망각 전략을 구현할 수 있다. 보안 시뮬레이션용 모델과 일반 고객 응대용 모델의 어댑터만 다르게 적용하여 가드레일 수준을 유연하게 결정하는 것이 실무적인 판단 기준이다.

결국 AI의 가드레일은 서비스의 목적에 따라 유연하게 조정되어야 하는 비즈니스 도구일 뿐이다. 전면적인 모델 재학습이라는 무거운 선택지 대신, LoRA 어댑터 교체라는 가벼운 워크플로를 선택하는 것이 기업이 실무 생산성을 지키며 AI의 안전 정책을 통제하는 유일한 현실적 판단 기준이다. 오늘 바로 모델의 가드레일 정책이 업무 흐름을 방해하고 있지는 않은지 확인하고, 이를 모델 레벨에서 제어할 수 있는 어댑터 전략을 검토해 보길 바란다.