Anthropic이 AI의 개념적 추론 능력을 평가하는 '개념적 추론 지표(CRI, Conceptual Reasoning Index)'를 공개했다. 이 지표는 실질적인 경험적 피드백 루프가 부족한 철학이나 AI 미래학 같은 영역에서 모델이 수행하는 논증 능력을 측정한다.

CRI는 총 세 가지의 개념적 추론 벤치마크를 통합해 구성한다. 사용자는 conceptualreasoning.ai 웹사이트에서 세부 방법론을 확인하고 최신 모델의 벤치마크 결과를 조회할 수 있다.

핵심 데이터셋인 LMCA(Language Model Conceptual Analysis, 언어 모델 개념 분석 데이터셋)는 별도의 신청 양식을 통해 접근 권한을 요청해야 한다. Anthropic은 새로운 모델과 벤치마크가 출시될 때마다 해당 웹사이트를 업데이트한다.