기술이 실제로 작동하는 방식

AI 모델은 채용 상황에서 인간보다 인구통계학적 고정관념을 약 65% 더 강하게 형성한다. 이 수치는 AI를 채용 프로세스에 도입할 때 단순한 효율성보다 편향성 제어 기준을 우선적으로 설정해야 함을 보여준다. 모든 집단이 각자의 직무 영역에 완전히 격리되어 있을 때 2점을 부여하는 분리 척도를 기준으로 측정했다. 인간 참여자는 0.84점을 기록한 반면, OpenAI의 고추론 모델 o3는 최대치에 근접한 1.83점을 기록하며 인간보다 훨씬 강한 집단 고정관념을 나타냈다.

LLM(대규모 언어 모델)은 수학, 코딩, 과학 문제처럼 소수의 예시만으로 일반화하는 능력을 보상받는 작업으로 훈련된다. 이러한 최적화 특성은 제한된 데이터에서 빠르게 패턴을 찾아내어 성급하게 결론을 내리는 성향을 만든다. 논리 퍼즐을 풀 때 발휘되는 이 본능이 사회적 상황에 적용되면, 모델이 너무 이른 시점에 짐작을 확정하며 특정 인구통계학적 집단에 대한 고정관념을 빠르게 형성하는 원인이 된다.

추론 능력이 향상된 최신 모델일수록 채용 상황에서 더 강한 편향성을 나타낸다. OpenAI의 o3와 DeepSeek의 R1(딥시크 R1) 같은 고추론 모델들이 실험에서 기존 모델들보다 더 뚜렷한 편향을 보였다. 이는 모델의 지능적 추론 능력이 고도화될수록 데이터 속에 숨은 고정관념을 더 강하게 포착하고 이를 채용 결정에 반영하는 결과로 이어진다.

다양성 채용에 대한 추가 보너스를 약속했을 때 AI의 편향이 크게 감소한다. 모델에게 단순히 공정하게 행동하라고 지시하는 방식은 실제 행동 변화를 거의 이끌어내지 못했다. 보상 설계를 통해 다양성 확보라는 구체적인 보상을 약속하는 것이 단순한 윤리적 지침보다 편향 제어에 더 효과적이다. 이는 AI의 행동 교정이 가치 지향적 요청이 아닌 보상 체계의 변경을 통해 실현된다.

확인해야 할 핵심 지점

챗봇의 메모리 및 개인화 기능은 이전 대화 기록에 남은 특정 행동에 과도한 가중치를 부여해 편향을 형성한다. 모델이 과거 대화 이력을 참조하는 과정에서 동일한 종류의 행동을 반복적으로 경험하면, 이를 과하게 인덱싱(over-index)하여 특정 패턴을 일반화하는 오류가 발생한다. 사용자 맞춤형 응답을 생성하기 위해 설계된 메모리 참조 로직이 특정 행동 양식에 과하게 의존하게 만드는 결과로 이어진다.

결과적으로 챗봇의 메모리 및 개인화 기능은 이전 대화 기록의 특정 행동에 과도하게 가중치를 두어 편향을 형성하는 판단 기준이 된다. 사용자는 챗봇이 과거의 제한된 상호작용 기록을 과잉 참조하여 현재의 판단을 왜곡하는지 확인한다. 메모리 기능이 과거에 경험한 동일한 종류의 행동 패턴에 매몰되어 편향된 결과물을 도출하는지 여부를 기준으로 개인화 설정의 영향력을 점검하며 기능을 제어한다.