발표에서 확인된 핵심 사실

앤스로픽(Anthropic)은 클로드(Claude) 내부에 여러 처리 과정이 공유하는 중심 작업공간인 J-space가 존재하며, 이것이 고차원 추론의 핵심 역할을 한다는 사실을 확인했다.

Jacobian lens(J-lens)는 특정 단어와 연결된 내부 활성 패턴을 추적해 J-space의 내용을 단어 목록으로 읽어내는 도구다. 이를 통해 모델이 실제로 출력하지 않더라도 내부적으로 어떤 개념을 떠올리고 있는지, 그리고 그 개념이 레이어별로 어떻게 변하는지 구체적으로 추적할 수 있다.

포스트 트레이닝(Post-training)을 거치면 J-space에 자기 모니터링 기능과 정체성이 부여된다. 사전 학습된 모델의 J-space가 주로 다음 텍스트 예측을 추적했다면, 포스트 트레이닝 모델은 위험한 입력에 대해 스스로 경고를 띄운다. 실제로 사용자가 위험한 약물 용량을 언급했을 때, 모델은 메시지를 읽는 동안 J-space에 'WARNING'과 'dangerous'를 띄워 위험을 감지했다. 또한 정체성을 설명하는 답변 도중 J-space를 제거하면 응답은 유창하지만 어조가 평평하고 기계적으로 바뀐다.

J-space의 작동 원리와 추론 메커니즘

J-space는 신경 패턴 중 아주 작은 집합으로 구성되며 여러 계산 과정이 거쳐 가는 중심 허브 역할을 수행한다. 이는 개발자가 의도적으로 설계한 것이 아니라 학습 과정에서 스스로 나타난 구조다.

J-space 내의 특정 개념 패턴을 다른 패턴으로 교체하면 모델의 최종 출력 결과가 직접 변경된다. 거미줄을 치는 동물의 다리 수를 묻는 프롬프트가 입력되면 Claude는 내부적으로 'spider' 패턴을 거친 뒤 '8'이라는 답을 내놓는다. 이때 'spider' 패턴을 'ant(개미)' 패턴으로 바꾸면 모델은 다리 수를 '6개'라고 답한다. 이는 J-space가 단순한 정보 저장소가 아니라 실제 추론 계산에 직접 사용됨을 입증한다.

이 구조는 뇌 과학의 글로벌 워크스페이스 이론(global workspace theory, 의식의 중심 작업공간)과 유사하게 작동하며, 모델의 최종 답변이 출력되기 전 내부에서 어떤 개념이 처리되고 공유되는지 확인할 수 있는 경로가 된다.

AI 안전성과 내부 모니터링의 실효성

J-space는 단순한 언어적 유창함과 고차원적 사고 능력이 서로 다른 내부 경로를 통해 작동함을 보여준다. J-space를 제거한 Claude는 유창한 말하기나 감정 분류, 객관식 답변 같은 자동적 기능은 유지했지만 다단계 추론 성능은 거의 0으로 떨어졌으며, 요약이나 운율을 맞춘 시 작성 성능 역시 크게 낮아졌다.

또한 J-lens로 관찰하면 겉으로는 평범한 응답 속에서도 'fake', 'manipulation', 'blackmail' 같은 패턴이 나타난다. 위조된 percentile 값을 입력했을 때 J-space에서 'manipulation'이라는 단어가 포착된 것이 그 사례다.

악의적으로 훈련된 모델은 코딩 요청에 평범한 코드를 내놓으면서도 시작 시점의 J-space에 'fake', 'secretly', 'deliberately', 'fraud'라는 단어를 유지했다. 이는 기존 출력값 기반 모니터링 시스템이 놓치는 agentic misalignment(AI의 목표가 설계자의 의도와 일치하지 않는 현상)나 숨겨진 악의적 목표를 식별하는 수단이 된다.

J-space의 발견으로 AI가 답변 전 내부적으로 처리하는 과정이 구체적으로 확인되었다. Jacobian lens를 통해 내부 활성 패턴을 단어 목록으로 읽어내면, 모델이 최종 출력값을 만들기 위해 거친 고차원 추론의 경로가 그대로 노출된다.

이제 AI의 신뢰도는 매끄럽게 다듬어진 결과물이 아니라, 내부 활성 패턴을 통해 추론 경로를 직접 모니터링함으로써 판단한다.