AI 가중치로 측정하는 새로운 인지도 지표

많은 이들이 구글 검색창에 자신의 이름을 입력해 보는 배니티 서치(Vanity Search, 자기 과시적 검색) 습관을 가지고 있다. 이제 인지도의 기준은 검색 엔진의 결과 페이지가 아니라 AI 모델의 내부 가중치(Weights)로 옮겨간다. In the Weights는 외부 웹 검색 없이 모델이 내부적으로 특정 인물을 얼마나 정확히 기억하는지 수치화한다. 이는 검색 엔진의 인덱싱 결과가 아닌 모델의 학습 데이터 속에 각인된 존재감을 측정하는 방식이다.

해당 사이트의 리더보드는 인물별 강도 점수를 실시간으로 반영한다. 영화 홈 어론의 스타 Macaulay Culkin이 988점을 기록하며 최상위권에 랭크되었으며, 오페라 가수 Luciano Pavarotti가 그 뒤를 잇는다. 단순히 점수만 제공하는 것이 아니라, 특정 모델이 해당 인물에 대해 답변을 내놓았는지 여부를 함께 표시한다. 특히 모델이 인물을 잘못 인식하여 엉뚱한 정보를 생성하는 환각(hallucination) 사례를 하이라이트하여 모델별 정확도를 대조한다.

제작자인 Thomas Dimson과 Joey Flynn은 디자인 스타트업 Global Illumination의 인수를 통해 OpenAI에 합류했던 인물들이다. 두 사람은 OpenAI를 떠난 후 창의적인 활동을 다시 시작하고 영감을 얻기 위해 이 프로젝트를 구축했다.

기술이 실제로 작동하는 방식

2026년에는 웹 검색 트래픽의 상당 부분이 LLM으로 이동하며 기존의 자기 검색 방식이 무의미해질 가능성이 크다. 토마스 딤슨(Thomas Dimson)은 개인의 삶이 AI 내부의 부동 소수점 숫자, 즉 컴퓨터가 실수를 표현하는 방식인 플로팅 포인트(floating point) 형태로 인코딩되어 있다는 사실에 주목했다.

In the Weights는 Grok, Gemini, GPT, Claude, Llama 등 여러 모델에 "Who is <name>?"과 같은 질문을 전송한다. 각 모델에는 최대 10개의 결과값과 함께 짧은 설명, 신뢰도 수치를 요청한다. 이후 수집된 응답 중 유사한 설명을 클러스터링(유사한 특성을 가진 데이터를 그룹화하는 방식)하여 강도 점수(strength score)를 할당한다. 여러 모델의 교차 검증을 통해 특정 인물에 대한 기억의 일관성과 강도를 수치로 변환한다.

이 방식은 실시간 웹 검색 없이 모델이 내부 가중치(Weights, AI가 학습을 통해 최적화한 매개변수)만으로 인물을 얼마나 정확히 기억하는지 측정한다. 외부 웹페이지의 노출 빈도라는 양적 지표에서 벗어나 AI가 학습 데이터 단계에서 해당 인물을 얼마나 강하게 각인했는지를 확인하는 구조다.

모델 분석의 확장과 향후 계획

Thomas Dimson은 단순한 기억 여부를 넘어 모델 간의 정밀한 차이를 분석할 계획이다. 동일한 시리즈에 속한 모델들이 왜 서로 다른 응답을 반환하는지 구체적인 원인을 파헤치며, 특정 유형의 사람들에게 모델이 편향된 결과를 내놓는지에 대한 검증 작업도 포함한다. 더불어 사회적 영향력에 비해 위키피디아 문서가 작성되지 않은 인물들이 누구인지 식별하는 작업도 병행할 예정이다.

구글 검색창에 이름을 입력하던 배니티 서치는 이제 LLM의 가중치 분석으로 대체된다. 다수 모델의 응답을 클러스터링해 산출한 강도 점수는 웹 페이지 노출 빈도가 아닌 모델 내부의 내재적 인지도를 수치화한 결과다.

디지털 존재감의 실체는 웹상의 데이터 파편이 아니라 모델의 가중치 속에 각인된 밀도로 결정된다. 리더보드에서 자신의 강도 점수를 확인하며 AI가 기억하는 실질적 위치를 검증할 수 있다.