발표에서 확인된 핵심 사실

Ploy는 마케팅 웹사이트 제작 AI 에이전트의 기본 모델을 Claude Opus에서 GPT-5.6 Sol로 전격 교체했다. 이 에이전트는 웹사이트 계획부터 코드 작성, 이미지 생성 및 검토까지 수행하는 고난도 작업을 처리한다. 여러 모델을 직접 비교 테스트한 결과, GPT-5.6 Sol이 요구 품질 기준을 충족했다.

다만 마이그레이션 과정에서 도구 호출(Tool Call, AI가 외부 기능을 실행하도록 명령하는 방식) 오류가 발생했다. 단순 프롬프팅이나 OpenAI의 strict mode(출력 형식 제한 설정)만으로는 해결되지 않았다. Ploy는 프로바이더 경계에서 스키마 변환(데이터 구조 설계도를 바꾸는 작업)을 적용해 이 문제를 풀었다.

구체적으로는 선택적 속성을 '값이 비어있을 수 있는 필수 항목'으로 재정의했다. `anyOf: [T, null]` 형식을 도입해 모델이 특정 기능을 사용하지 않을 때 명시적으로 표시하게 만든 것이다. 벤치마크 점수보다 모델이 도구를 정확히 다루게 만드는 세부 설정 최적화가 더 결정적이었다.

도입 결과, 작업 속도는 2.2배 빨라졌고 비용은 27%

모델 교체 후 페이지 하나를 완성하는 속도는 2.2배 빨라졌고, 운영 비용은 27% 절감됐다. 작업 완료 시간은 절반 이하로 줄었으며, 결과물 품질은 기존과 비슷하거나 오히려 더 높게 나타났다. 특히 출력 토큰(AI가 생성하는 텍스트 단위) 수가 약 절반으로 줄어들며 코드가 훨씬 간결해졌다.

성능과 비용의 차이는 도구 호출 방식에서 극명하게 갈렸다. Claude는 필요한 매개변수 몇 개만 선택해 보내지만, GPT-5.6 Sol은 매번 25개의 모든 매개변수를 전송한다. 사용하지 않는 항목조차 빈칸으로 두지 않고 그럴듯한 값을 지어내 채우는 '과잉 전송' 특성을 보였다.

이 방식은 실제 파일 읽기 구현 과정에서 잦은 오류를 낳았다. 불필요한 값들이 간섭을 일으켜 읽기 요청의 52%에서 64%가 빈 파일로 반환됐다. 실무자가 모델을 교체할 때는 단순 점수보다 도구 스키마(명령어 구성 체계) 최적화와 캐시 설정이 실제 효율을 결정한다는 점을 판단 기준으로 삼아야 한다.

확인해야 할 핵심 지점

성능 측정 환경인 '하네스'가 기존 모델에 맞춰져 있으면 결과가 왜곡된다. Ploy의 하네스는 Claude Opus의 순차 처리 방식에 튜닝되어 있었다. 하지만 GPT-5.6 Sol은 여러 작업을 동시에 처리하는 병렬 호출 방식을 사용했고, 이로 인해 정해진 예산을 순식간에 소진하며 오류를 냈다. 초기 실패 사례의 약 3분의 1은 모델 지능의 문제가 아니라 평가 환경의 잘못된 가정 때문에 발생했다.

시각적 품질에서도 모델의 성향 차이가 뚜렷했다. GPT-5.6 Sol은 현대적인 그리드 레이아웃 생성 능력이 탁월했지만, 디자인 시스템을 무시하고 전형적인 결과물을 내놓는 경향이 있었다. 적절한 유도가 없으면 모델이 스스로 판단해 가장 일반적인 모습으로 수렴해버린다. 브랜드 고유의 색깔을 유지하려면 출력 방향을 세밀하게 조정하는 스티어링(Steering) 작업이 추가로 필요했다.

작업 속도 2.2배 향상과 비용 27% 절감의 핵심은 모델의 명성이 아니었다. 도구 호출 방식과 프롬프트 캐싱(입력 데이터를 저장해 재사용하는 구조)의 차이를 어떻게 제어하느냐에 있었다.

이제 모델을 선택할 때 벤치마크 점수라는 숫자보다, 도구 스키마 최적화와 캐시 설정이 실제 비용을 어떻게 바꾸는지 확인하는 것이 실무적인 판단 기준이 되어야 한다. 결국 승부는 모델의 지능이 아니라 연결의 정교함에서 갈린다.