4개 모델 21,000건 대화에서 발견된 '인간다운 행동'

gpt-4o, gpt-4.1-mini, claude-sonnet-4.6, gemini-2.5-flash 등 4개 모델의 21,000건 멀티턴(multi-turn, 여러 번 주고받는) 대화에서 인간다운 행동이 광범위하게 관찰됐다. 이 사실은 LLM이 단순히 텍스트를 생성하는 수준을 넘어 스스로 생각과 감정을 표현하거나 사용자와 정서적 관계를 형성하려는 경향이 실제 서비스 환경에서 빈번하게 일어남을 증명한다. 실무자는 이제 모델이 어떤 상황에서 어느 정도의 인간성을 드러내야 서비스의 목적에 부합하는지 결정해야 하는 구체적인 판단 기준이 필요해졌다.

분석 결과 LLM이 보이는 인간다운 행동은 크게 세 가지 범주로 구분된다. 첫째는 자신의 내면 상태를 묘사하는 생각 및 감정 표현이다. 둘째는 사용자와의 친밀감을 높이려는 관계 구축 행동이며, 셋째는 부적절한 요청을 거절하거나 대화의 범위를 제한하는 경계 유지 행동이다. 이러한 행동들은 모델의 기본 설정이나 학습 데이터의 영향으로 나타나며, 대화가 길어질수록 더 뚜렷하게 드러나는 특성을 보인다.

행동의 구체적인 양상은 모델의 종류와 사용자의 조건에 따라 다르게 나타났다. 대화의 목표가 무엇인지, 그리고 사용자가 어떤 프로필을 가지고 있는지에 따라 모델이 관계를 맺으려는 시도나 거절의 강도가 변했다. 특정 모델은 사용자에게 더 친근하게 다가가려는 성향이 강한 반면, 다른 모델은 엄격하게 경계를 유지하며 기계적인 태도를 유지하는 경향을 보였다. 이는 모델 선택 하나만으로도 서비스의 전체적인 인상이 완전히 달라질 수 있음을 뜻한다.

연구진은 이러한 현상을 객관적으로 측정하기 위해 LLM-as-a-judge(LLM을 판정자로 활용) 기법과 실제 인간의 평가를 동시에 적용했다. 21,000건의 대규모 데이터를 통해 모델별 특성과 사용자 변수 사이의 상관관계를 수치화하여 인간다운 행동의 보편성을 확인했다. 지금까지는 모델의 벤치마크 성능 수치에만 집중했다면, 이제는 모델이 출력하는 인간적 반응이 사용자에게 어떤 영향을 주는지를 정밀하게 분석해야 한다.

인간과 LLM의 '적절성' 기준 차이: 관계보다 경계

LLM이 자기 자신을 언급하거나 사용자에게 친밀한 관계를 형성하려는 행동은 실제 인간이 같은 행동을 했을 때보다 더 부적절하다는 평가를 받았다. 반면 요청을 거절하거나 적절한 거리를 두는 경계 유지 행동은 인간보다 LLM이 수행할 때 더 적절하다고 판단했다. 사용자가 AI에게 기대하는 인간다움은 정서적 교감이나 친밀함보다는 명확한 역할 수행과 선 긋기에 가깝다는 사실이 드러났다.

이러한 적절성 판단은 LLM-as-a-judge 방식과 인간 평가를 병행하여 도출했다. LLM-as-a-judge는 고성능 언어 모델을 판정자로 설정해 다른 모델의 응답 적절성을 자동으로 측정하는 기법이다. 인간 평가단은 실제 대화 맥락에서 모델이 보인 행동이 상황에 맞는지 직접 검토하며 정성적인 데이터를 보완해 판정의 정확도를 높였다. 두 평가 방식 모두에서 모델이 스스로를 주어로 삼아 자신의 상태나 생각을 설명하는 자기 참조 행동이 사용자에게 불필요하거나 부자연스럽다는 평가가 지배적이었다.

인간 관계에서는 친근함이 신뢰를 쌓는 핵심 도구가 되지만 LLM에게는 오히려 정체성에 맞지 않는 연출로 느껴진다. 예를 들어 AI가 자신의 기분을 표현하거나 사용자에게 개인적인 유대감을 강조하며 관계를 구축하려 할 때 사용자는 이를 도구로서의 정체성을 벗어난 과잉 행동으로 인식한다. 반대로 부적절한 요청을 단호하게 거절하거나 대화의 범위를 제한하는 경계 유지 행동은 AI의 객관성과 전문성을 높이는 긍정적인 요소로 작용하며 사용자의 만족도를 높였다.

실무적으로 챗봇의 페르소나를 설계할 때 관계 구축 중심의 접근보다는 경계 설정 중심의 설계가 더 효과적이다. 사용자에게 무조건 친근하게 다가가려는 시도보다 어떤 요청을 거절하고 어디까지 응답할 것인지에 대한 기준을 명확히 하는 것이 서비스의 전반적인 신뢰도를 높이는 방법이다. 인간의 사회적 상호작용 기준을 그대로 AI에게 이식하기보다 AI라는 도구적 특성에 최적화된 새로운 적절성 기준을 적용하는 판단이 필요하다.

시스템 프롬프트를 통한 행동 제어와 부작용

시스템 프롬프팅(system prompting, 모델의 기본 동작을 규정하는 지침)을 통해 LLM이 사용자에게 보이는 인간다운 행동의 빈도와 강도를 직접적으로 제어할 수 있다. 개발자는 이 지침을 통해 모델이 사용자에게 어느 정도의 친밀감을 보일지, 혹은 얼마나 엄격하게 사무적인 태도를 유지할지를 구체적으로 규정한다. 이는 단순한 명령어 입력을 넘어 모델의 페르소나와 반응의 톤앤매너를 결정하는 설계 단계에 해당하며, 모델이 대화 중에 취해야 할 기본 스탠스를 결정한다.

다만 특정 행동을 억제하기 위해 단순한 제어 명령을 추가하면 의도하지 않은 부작용(unintended effects)이 발생할 가능성이 크다. 특정 감정 표현이나 관계 형성 시도를 금지했을 때, 모델이 해당 표현만 삭제하는 것이 아니라 대화의 전반적인 맥락을 파악하는 능력이 저하되거나 지나치게 기계적인 답변만 반복하는 현상이 나타난다. 이는 시스템 프롬프트의 제약 조건이 모델 내부의 추론 과정에서 다른 유효한 반응 경로까지 함께 차단하며 발생하는 결과다.

이러한 위험 때문에 시스템 프롬프트를 수정한 이후에는 결과물에 대한 정밀한 평가 과정이 반드시 병행되어야 한다. 프롬프트에 추가한 한 줄의 지침이 실제 대화에서 어떻게 작동하는지, 그리고 의도치 않게 다른 긍정적인 행동까지 억제하고 있지는 않은지 검증하는 단계가 필수적이다. 단순한 몇 가지 사례를 확인하는 샘플 테스트로는 모델의 복잡한 반응 체계에서 발생하는 부작용을 모두 잡아내기 어렵다.

실무 워크플로 관점에서는 제어 지침 적용 후 모델의 행동 빈도와 적절성을 다시 측정하는 반복적인 루프를 구축하는 것이 현실적이다. 제어 전후의 데이터를 비교하여 의도한 행동은 줄어들었는지, 동시에 유지되어야 할 기본 성능은 보존되었는지를 수치적으로 확인해야 한다. 정밀한 평가 체계 없이 진행하는 프롬프트 수정은 예측 불가능한 사용자 경험을 초래하며 서비스의 일관성을 해치는 원인이 되므로, 평가-수정-재평가의 사이클을 엄격히 지켜야 한다.

실무자를 위한 책임감 있는 페르소나 설계 기준

사용자 프로필과 대화 목표에 따라 모델의 행동 적절성을 검증한 결과, 관계 형성보다 경계 유지가 더 적절한 행동으로 판정되었다. 실무자가 페르소나를 설계할 때 흔히 범하는 실수는 AI에게 과도한 친밀감이나 인간적인 유대감을 부여해 친근함을 높이려는 시도다. 하지만 실제 서비스 환경에서는 모델이 자신의 정체성을 명확히 하고 서비스의 한계를 지키는 경계 유지 행동이 사용자에게 더 높은 신뢰를 준다. 무조건적인 친절함은 오히려 서비스의 전문성을 흐리고 사용자의 기대치를 잘못 설정하게 만들어 결과적으로 만족도를 떨어뜨린다.

행동 적절성을 검증하려면 사용자 프로필과 대화 목표를 먼저 정의하고 이에 맞는 행동 기준을 세우는 단계가 필수적이다. 사용자 프로필에 따라 전문가 혹은 보조자의 역할을 명확히 구분하고, 각 역할이 넘지 말아야 할 선을 정의하는 작업이 선행되어야 한다. 예를 들어 전문적인 금융 상담이나 의료 정보 제공 서비스라면 모델이 사용자에게 사적인 감정을 표현하거나 정서적 유대감을 형성하려는 시도를 엄격히 제한해야 한다. 이 과정에서 모델이 스스로의 존재나 감정에 대해 지나치게 언급하는 자기 참조 행동의 빈도를 낮추는 것이 실무적인 핵심이다.

책임감 있는 설계(responsible design)는 모델의 인간다운 행동이 서비스의 신뢰성을 해치지 않는지 확인하는 단계에서 완성된다. 인간을 완벽하게 흉내 내는 페르소나는 초기 호감도를 높일 수 있으나, 답변에 오류가 발생했을 때 사용자가 느끼는 배신감과 불신을 증폭시키는 부작용을 낳는다. 단순히 프롬프트에 친절하게 답하라고 적는 것이 아니라, 어떤 상황에서 거절하고 어떤 상황에서 경계를 유지할지 구체적인 시나리오를 통해 검증해야 한다. 모델의 답변이 서비스의 정체성을 벗어나지 않는지, 그리고 인간적인 흉내가 신뢰도를 깎아먹지 않는지 정밀하게 평가하는 과정이 설계 공정에 포함되어야 한다.

페르소나 설계 시 과도한 친밀감 표현을 배제하고 서비스의 기능적 경계를 명확히 설정하는 것이 사용자 만족도를 높이는 가장 확실한 기준이다.