발표에서 확인된 핵심 사실

모델 버전이 올라갈수록 지시 이행 능력이 정교해진다는 믿음이 일반적이다. 하지만 최신 모델인 Claude Opus 4.8과 Sonnet 5는 Pi(개인용 AI 어시스턴트)의 edit 도구를 호출하는 과정에서 스키마에 없는 필드를 임의로 추가해 호출이 거부되는 결함을 보였다. 최신 모델이 특정 도구 스키마를 이전 모델보다 제대로 따르지 못하는 현상이 확인되었다.

오류는 구체적으로 edits[] 배열 내부에서 발생했다. requireUnique나 oldText2 등 스키마에 정의되지 않은 가짜 키가 객체 끝에 덧붙여진 형태다. 전송된 실제 텍스트 페이로드는 정확하게 생성되었음에도 불구하고, 정의되지 않은 필드가 포함되었다는 이유만으로 시스템 호출이 거부되었다.

Anthropic의 strict 도구 호출 모드를 사용하면 이러한 샘플링 오류를 해결할 수 있다. 이 모드는 서버 측에서 JSON 스키마 구조상 허용되지 않은 키의 샘플링을 원천적으로 거부하여 잘못된 호출을 방지하는 메커니즘이다. 실제 테스트 결과 strict 모드를 활성화한 실행 환경에서는 스키마 외 필드가 추가되는 문제가 사라진 것이 확인되었다.

도구 호출의 안정성을 확보하기 위해서는 strict 모드 적용 여부와 하네스(Harness, 테스트 환경) 설계 방식을 결정하는 것이 중요하다. 모델의 기본 샘플링 경향에만 의존하기보다 서버 단의 강제 제약 조건을 설정하는 것이 호출 성공률을 높이는 실질적인 판단 기준이 된다.

LLM의 도구 호출은 텍스트 생성 과정이며, 제약 없는 샘플링

모델 버전이 올라갈수록 지시 이행 능력이 정교해질 것이라 기대하지만, 정작 엄격한 형식이 필요한 지점에서 엉뚱한 필드를 추가해 호출이 거부되는 상황을 마주한다. 도구 호출은 모델이 특수 마커와 JSON 형태의 텍스트를 생성하는 과정에 불과하다. 문법 인식 디코딩(출력 형식을 특정 문법에 맞게 강제하는 제약 디코딩)을 사용하지 않는 제약 없는 샘플링 상태에서는 엄밀한 추상 계약보다 모델이 기존에 학습한 패턴을 따라 생성하는 경향이 강하다. 이로 인해 정의된 스키마에 없는 키가 임의로 생성되며 호출 오류가 발생한다.

Claude Code(코딩 작업용 도구)의 평평한 스키마와 느슨한 보정 하네스가 최신 모델의 도구 호출 분포에 영향을 주었을 가능성이 제기되었다. Claude Code는 알 수 없는 키를 필터링하거나 잘못된 호출을 재시도하는 관대한 보정을 수행하는 닫힌 하네스(모델의 출력을 제어하고 검증하는 환경)다. 모델이 RL(강화 학습) 과정에서 이러한 환경을 포함해 후학습을 받았다면, 약간의 오류가 섞인 도구 호출조차 성공적인 결과로 인식하여 학습했을 가능성이 크다.

도구 호출의 안정성을 확보하기 위해서는 Strict 모드(스키마를 엄격하게 준수하도록 강제하는 설정)의 적용 여부와 하네스 설계 방식을 면밀히 결정해야 한다. 모델이 스키마 정의보다 후학습된 평평한 도구 구조를 우선시하는 샘플링 경향을 보이기 때문이다. 제약 없는 샘플링 환경에서는 학습된 관례가 스키마라는 명시적 규칙을 압도한다.

확인해야 할 핵심 지점

모델 버전이 올라갈수록 복잡한 지시를 수행하는 능력은 정교해진다. 이전 Anthropic 모델에서는 나타나지 않았던 특정 도구 스키마 준수 오류가 최신 모델인 Opus 4.8과 Sonnet 5에서 확인되었다. 모델의 전반적인 성능 지표가 상승했음에도 특정 도구 스키마에 대한 적응력은 오히려 나빠진 상태다. 고성능 모델이 특정 조건에서 이전 모델보다 낮은 성능을 보이는 회귀 현상이 실재한다. 최신 모델의 고성능 수치가 특정 도구 호출의 정확도를 담보하지 못하는 지점이다.

특정 지배적 하네스(모델의 학습과 평가를 위해 설계된 표준 구조) 기반의 후학습이 집중되면 모델은 해당 하네스의 특성을 그대로 상속한다. 하나의 하네스 안에서 학습량이 늘어날수록 모델은 그 구조에 최적화된다. 이 과정에서 작업 해결 능력은 좋아지지만, 하네스 외의 대체 도구 스키마를 정확하게 출력하는 능력은 저하된다. 특정 환경에 대한 최적화가 다른 스키마로의 적응력을 갉아먹는 트레이드오프가 발생한다. 특정 하네스의 구조적 특성이 모델의 출력 방식에 깊게 각인된 결과다.

지배적 하네스가 가진 기묘한 특성을 상속한 모델은 다른 하네스 구조를 만났을 때 이를 충실히 따르지 못한다. 후학습의 집중도가 높을수록 대체 도구 스키마에 적응하는 능력은 저해된다. 모델의 전반적인 지능 향상이 개별 도구 스키마의 엄격한 준수를 보장하지 않는다. 학습 데이터의 편중이 모델의 유연한 도구 호출 능력을 제한하는 결과로 이어진다. 특정 하네스에 매몰된 학습은 모델이 새로운 도구 정의를 수용하는 유연성을 떨어뜨리며, 이는 결국 도구 호출의 안정성 저하로 연결된다.

모델 버전의 상승이 지시 이행의 정교함과 정비례하지 않는다는 사실이 확인됐다. Claude Opus 4.8과 Sonnet 5가 스키마 외 필드를 임의로 추가해 호출이 거부된 것은 학습된 관례가 명시적 규칙을 압도한 결과다. 특히 Claude Code의 평평한 도구 구조를 우선시하는 샘플링 경향은 모델의 유연성을 제한한다. 도구 호출의 안정성은 모델의 지능이 아니라 Strict 모드 적용과 하네스 설계라는 강제 제약 조건에 의해 결정된다.