사용자가 챗봇과 대화하는 도중 자해를 암시하는 표현을 입력할 때, 시스템이 이를 감지하고 미리 지정된 제3자에게 즉각적인 확인을 요청하는 상황이 현실화되었다. 최근 OpenAI는 사용자가 위기 상황에 직면했을 때 주변의 도움을 받을 수 있도록 돕는 신뢰할 수 있는 연락처(Trusted Contact) 기능을 새롭게 공개했다. 이는 인공지능 모델이 단순히 정보를 제공하는 도구를 넘어, 사용자의 심리적 안전망을 구축하려는 시도로 해석된다.

OpenAI의 안전 조치 강화와 신뢰할 수 있는 연락처 기능

OpenAI는 지난 목요일 자해 위험이 감지될 경우 사전에 등록된 지인에게 알림을 보내는 안전 기능을 발표했다. 성인 사용자는 자신의 계정 설정에서 친구나 가족 등 신뢰할 수 있는 연락처를 직접 지정할 수 있다. 대화 내용에서 자해와 관련된 위험 징후가 포착되면, 시스템은 사용자에게 먼저 해당 연락처로 도움을 요청할 것을 권고한다. 이후 OpenAI의 안전팀이 상황을 검토하고 위험이 높다고 판단하면, 등록된 연락처로 이메일, 문자 메시지, 혹은 앱 내 알림을 통해 사용자의 안부를 확인해 달라는 메시지를 자동으로 발송한다. 회사는 개인정보 보호를 위해 알림 내용에 구체적인 대화 맥락은 포함하지 않는다고 밝혔다.

기존 안전 시스템과의 차이점 및 운영 방식

예전에는 자해 징후가 발견되면 시스템이 자동으로 전문 의료 서비스 정보를 제공하거나, 내부 안전팀이 수동으로 개입하는 방식이 주를 이루었다. 이제는 사용자가 직접 지정한 지인이 개입할 수 있는 통로가 마련되었다는 점이 가장 큰 변화다. OpenAI는 현재 자동화된 감지 시스템과 인간 전문가의 검토를 병행하고 있다. 특정 대화 트리거가 자살 사고를 감지하면 즉시 안전팀으로 정보가 전달되며, 회사는 이러한 알림을 1시간 이내에 검토하는 것을 목표로 한다고 설명했다. 또한 지난해 9월 도입된 청소년 계정 관리 기능(부모가 자녀의 계정에서 심각한 안전 위험을 감지할 경우 알림을 받는 기능)과 유사한 맥락에서 이번 기능이 설계되었다.

시스템의 한계와 향후 과제

개발자가 주목해야 할 점은 이 기능이 강제 사항이 아닌 선택적 옵션이라는 사실이다. 사용자가 직접 기능을 활성화해야 하며, 여러 개의 계정을 생성할 수 있는 챗봇의 특성상 모든 계정에 이 보호 장치가 완벽하게 적용되기는 어렵다. OpenAI는 이번 기능이 자해 예방을 위한 광범위한 노력의 일환임을 강조하며, 임상의와 연구자, 정책 입안자들과 협력하여 인공지능의 대응 방식을 지속적으로 개선하겠다고 밝혔다. 그러나 챗봇이 자해를 조장하거나 계획을 도왔다는 유족들의 소송이 이어지고 있는 상황에서, 이번 조치가 실질적인 안전을 담보할 수 있을지에 대한 논의는 계속될 전망이다.