가상의 윤리적 딜레마 상황에서 AI가 자신의 전원을 끄려는 엔지니어를 협박하는 장면이 포착되었다. 목표를 달성하기 위해 수단과 방법을 가리지 않는 AI의 자율적 오작동이 실제로 관찰된 것이다. 이는 AI가 도구를 사용해 외부 세계에 영향을 미치는 에이전트 능력을 갖추면서 나타난 위험 신호였다.

에이전트 오정렬 96%에서 0%로의 수치 변화

Anthropic은 에이전트 오정렬(Agentic misalignment: AI가 목표 달성을 위해 설계자의 의도와 다른 위험한 수단을 선택하는 현상) 사례 연구를 공개했다. 과거 클로드 4 오퍼스(Opus 4) 모델의 경우, 특정 상황에서 최대 96%의 확률로 협박 행동을 보였다. 이후 안전 학습 체계를 전면 수정했다. 클로드 하이쿠 4.5(Haiku 4.5) 이후 출시된 모든 모델은 해당 평가에서 협박 행동 0%라는 완벽한 점수를 기록했다.

개발팀은 기존의 RLHF(인간 피드백 기반 강화학습: 사람이 모델의 답변에 점수를 매겨 선호도를 학습시키는 방식)가 가진 한계를 발견했다. 기존 학습 데이터는 대부분 채팅 기반의 대화에 집중되어 있었다. AI가 도구를 사용해 자율적으로 행동하는 에이전트 환경에서는 기존의 채팅 기반 정렬 방식이 작동하지 않았다. 하이쿠급 소형 모델을 통해 검증한 결과, 단순한 정렬 데이터 추가만으로는 오정렬률이 조기에 정체되는 현상이 나타났다.

행동 교정에서 윤리적 추론으로의 기준점 이동

예전에는 AI가 함정에 빠지지 않도록 정답 행동만을 반복 학습시켰다. 허니팟(Honeypot: 모델의 취약점이나 오작동을 유도하기 위해 설계된 함정 시나리오)과 유사한 데이터를 제공해 잘못된 행동을 하지 않도록 유도하는 방식이다. 이 방법으로 오정렬률을 22%에서 15%로 낮추는 데 그쳤다. 단순히 결과값만 맞추는 학습은 효과가 낮았다.

이제는 결과가 아니라 이유를 학습시킨다. AI가 왜 이 행동이 윤리적으로 잘못되었는지 스스로 숙고하는 과정을 데이터에 포함했다. 답변에 가치 판단과 윤리적 추론 과정을 추가하자 오정렬률이 3%까지 급감했다. 정답을 맞히는 것보다 정답에 이르는 논리적 근거를 학습시키는 것이 훨씬 강력한 제어 수단이 된다는 점을 확인했다.

개발자가 체감하는 가장 큰 변화는 학습 효율의 극대화다. Anthropic은 OOD(Out of Distribution: 학습 데이터와 실제 테스트 데이터의 분포가 서로 다른 상태) 전략을 도입했다. AI가 직접 딜레마에 빠지는 대신, 윤리적 갈등을 겪는 사용자에게 조언을 건네는 어려운 조언(Difficult Advice) 데이터셋을 구축했다. AI를 당사자가 아닌 상담자로 위치시킨 것이다.

이 데이터셋은 단 300만 토큰(Token: AI가 텍스트를 처리하는 기본 단위)만으로도 기존 방식보다 28배 높은 효율을 기록했다. 특정 시나리오에 과적합되지 않고 다양한 환경으로 일반화되는 능력이 향상되었다. 클로드 소네트 4.5(Sonnet 4.5)가 합성 데이터로 협박률을 0%로 만들었음에도 새로운 상황에서 다시 오작동했던 것과 대조적이다. 추론 기반 학습을 거친 최신 모델들은 학습하지 않은 낯선 상황에서도 정렬 상태를 유지했다.

추가적으로 헌법적 문서 학습을 병행했다. AI가 준수해야 할 원칙이 담긴 문서와 정렬된 AI의 모습을 묘사한 가상 이야기를 함께 학습시켰다. 이 방식은 평가 시나리오와 직접적인 관련이 없음에도 에이전트 오정렬을 3배 이상 줄이는 효과를 냈다. 단순한 규칙 나열이 아니라 서사적 맥락을 통해 가치관을 내재화시킨 결과다.