인공지능(AI) 생태계가 빠르게 다변화하고 있다. 단순히 성능 좋은 모델을 사용하는 단계를 넘어, 개발자와 기업이 컴퓨팅 환경의 통제권을 직접 확보하려는 움직임이 뚜렷하다.

최근의 흐름은 고성능 언어 모델을 클라우드가 아닌 개별 기기(로컬 하드웨어)에 직접 탑재하는 방향으로 흐르고 있다. 클라우드 의존도를 낮추고 독립성을 높이겠다는 전략이다. 이와 동시에 모델 성능 시험(Evaluation)을 더 직관적으로 수행하고, 일반 사용자도 쉽게 쓸 수 있는 데스크톱 자동화 도구들이 쏟아지고 있다.

실용적 도구를 넘어 효율성의 본질에 집중하는 움직임도 매섭다. Jalapeno 같은 초특화 칩 개발은 물론, 주요 AI 연구소들은 토큰 사용을 엄격히 관리하는 전략으로 선회하고 있다. 효율이 곧 경쟁력이 된 시대다. 기술적 난제를 해결하는 과정에서 AI 도입이 기업의 인력 구조조정과 어떻게 맞물리는지에 대한 현실적인 고민도 깊어지고 있다.

Fable 같은 정교한 작업 조율 도구(Orchestrator)의 등장과 Qwen, 젬마(젬마)의 성능 향상은 모두 하나의 방향을 가리킨다. 바로 더 정밀한 제어, 극대화된 효율, 그리고 완벽한 통합이다. 이번 브리프에서는 최신 하드웨어와 소프트웨어, 그리고 운영 전략이 어떻게 하나로 맞물려 '자율형(agentic) 시대'의 가능성을 재정의하고 있는지 분석한다.

01비싼 구독료와 보안 걱정 끝 — 내 컴퓨터로 옮겨온 AI

이제 비싼 클라우드 구독료를 내거나 개인정보 유출을 걱정할 필요가 없다. 내 컴퓨터 하드웨어에서 AI를 직접 구동하면 된다. 소프트웨어 간 통신을 돕는 인터페이스(API) 제공 도구인 LM Studio를 활용하면, 로컬 HTTP 엔드포인트(접속 지점)를 통해 Hermes Agent를 연결할 수 있다. 인증 설정과 로컬 네트워크 접근, 교차 출처 자원 공유(CORS) 설정만 마치면 Hermes Agent가 내 그래픽 카드의 자원을 직접 끌어다 쓴다. 이를 통해 클로드 Fable에서 추출해 용량을 줄인 압축 모델(quantized models)을 구동하는 것이 가능해진다. 클라우드 의존성을 끊어내는 실질적인 방법이다.

이렇게 최적화된 로컬 모델은 인터넷 연결 없이도 충분한 활용 가치를 제공한다. 예를 들어 Fable 5 기반의 젬마 4 같은 압축 모델은 문서나 이미지 분석을 무리 없이 수행한다. 매개변수(parameter) 규모가 12B(120억 개) 정도면 기본 성능이 확보되며, 27B(270억 개) 모델은 이메일이나 PDF 분석에 매우 탁월한 성능을 보인다. 거대 기업이 폐쇄적으로 운영하는 초거대 모델(boundary models)에 매달릴 필요가 없어진다. 운영 비용은 자연스럽게 내려간다.

로컬 환경과 다변화된 구조로 눈을 돌리는 이유는 결국 비용과 보안 때문이다. 이미 많은 기업이 지출 상한선을 정하고 있다. 우버는 월 1,500달러의 한도를 뒀고, 월마트는 엄격한 토큰 예산제를 도입했다. 보안 문제도 결정적이다. 앤스로픽이 Fable을 포함한 Mythos급 모델의 데이터를 30일간 보관한다는 정책을 세우자 많은 기업이 등을 돌렸다. 클라우드 접속의 불안정성 또한 리스크다. 아마존의 탈옥(jailbreak) 보고 이후 미국 정부가 수출 통제를 통해 Fable 5와 Mythos 5의 접속을 차단한 사례가 이를 증명한다. 이제 AI는 '어디에 있느냐'가 생존 전략이 됐다.

이런 리스크를 관리하기 위해 기업들은 작업 성격에 따라 가장 효율적인 모델로 연결해 주는 모델 라우팅(model routing) 전략을 채택하고 있다. 코인베이스는 단순 코딩 작업은 저렴한 오픈소스 모델인 GLM 5.2에 맡기고, 고도의 기획 작업에만 오픈AI나 앤스로픽의 최첨단 모델을 배치해 사용량은 늘리면서 비용은 획기적으로 줄였다. 이런 유연함은 Cursor, Factory, Devin 같은 서드파티 코딩 도구들이 모델 개발사보다 더 강력한 경쟁력을 갖게 만드는 핵심 요소다.

02AI 성능 비교 UI — 두 모델을 나란히 놓고 실시간 검증

맞춤형 AI 모델이 기본 모델보다 실제로 더 나은 성능을 내는지 판단하기란 쉽지 않습니다. 이를 해결하기 위해 개발자들은 화면을 50 대 50으로 나눈 비교용 사용자 인터페이스(UI)를 활용합니다. 이 방식은 같은 질문을 두 가지 버전의 모델에 동시에 던져 결과를 바로 옆에서 비교하게 해줍니다. 예를 들어, 한쪽에는 OpenRouter를 통해 기본 Kim K2.7 모델을 구동하고, 다른 쪽에는 Fireworks AI에 올린 맞춤형 미세 조정 모델을 배치하는 식입니다. 이처럼 즉각적인 시각적 피드백은 어떤 모델이 특정 작업을 더 효과적으로 수행하는지 명확히 보여주며, 모델 성능 시험(Evaluation) 과정에서 불필요한 추측을 없애줍니다.

성능이 뛰어난 모델을 쓰더라도 개발자가 AI가 짠 코드를 제대로 이해하지 못한 채 무비판적으로 수용하는 위험은 여전히 존재합니다. 이를 막기 위해 '인간 개입(human-in-the-loop)' 전략이 도입되었습니다. 작업 세션이 끝나면 AI가 해당 내용을 바탕으로 퀴즈를 내고, 개발자가 이를 통과해야만 다음 단계로 넘어갈 수 있게 하는 방식입니다. 이 과정을 통해 인간은 논리의 주도권을 쥐고 코드 변경 사항을 온전히 설명할 수 있게 됩니다. 개발자가 프로젝트 구조의 '알 수 없는 부분'이나 사각지대를 놓쳐 발생하는 치명적인 오류를 방지하는 안전장치인 셈입니다.

성능과 비용을 동시에 잡기 위해 복잡한 작업 흐름(workflow)은 전문화된 모델들로 쪼개어 처리합니다. Fable과 같은 고성능 최첨단 모델은 전체적인 계획을 짜고 다른 자율 행동(agentic) 모델들을 지휘하는 데 최적입니다. Fable은 원격 노동 지수(Remote Labor Index)에서 16.1%의 점수를 기록하며 GPT-4o(6.3%)나 Opus 3.5(8.3%)를 압도하는 성능 향상을 보였습니다. 하지만 모든 코드 한 줄을 이런 고성능 모델로 짜는 것은 비용 부담이 큽니다. 개발자들은 AI 데이터 처리 비용인 토큰 사용료를 줄이기 위해, 단순 실행 업무는 Kim K2.7 같은 소형 오픈소스 모델에 맡깁니다. 이러한 오픈소스 대안은 Opus 같은 독점 모델보다 최대 7배 저렴하며, 최첨단 모델로 수 달러가 들 작업을 단 0.10달러 수준의 비용으로 웹 애플리케이션 백엔드 전체를 구현하기도 합니다. 설계는 Fable이 맡고 실제 코딩은 GPT 5.5나 Kim K2.7이 수행하는 식으로, 개발자들은 고도의 지능과 극강의 비용 효율성 사이에서 균형을 찾아가고 있습니다.

03ChatGPT가 내 마우스와 키보드를 직접 쓴다면?

이제 사용자는 컴퓨터를 직접 조작하는 AI에게 복잡한 디지털 잡무를 맡길 수 있다. ChatGPT 데스크톱 앱에 도입된 '자율 행동 모드(agent mode)'가 핵심이다. 키보드로 `/agent` 명령어만 입력하면 AI는 단순한 대화 상대를 넘어 사용자의 화면에서 직접 과업을 수행하는 실행자로 변한다. 제안을 받는 단계에서 끝났던 기존 방식과 달리, 이제는 결과물이 완성될 때까지의 간극을 AI가 직접 메운다.

이 모드의 진가는 사람이 웹 서핑을 하는 것과 똑같이 화면을 제어한다는 점에 있다. 예를 들어, 인테리어 업체 찾기 사이트에서 가장 적합한 욕실 리모델링 업체를 찾아달라고 요청하면, AI가 직접 사이트를 탐색해 최적의 업체를 선별하고 각각에게 보낼 전문적인 메시지 초안까지 작성한다. 사용자가 일일이 목록을 검색하고 필터링하며 메일을 쓰던 번거로운 작업 흐름(workflow) 전체를 AI가 대신 처리하는 식이다.

운영체제(OS)와 외부 웹페이지를 직접 제어해야 하므로 이 기능은 현재 데스크톱 앱에서만 사용할 수 있다. 다만 자율적인 작업 속도는 다소 느릴 수 있다는 점을 유의해야 한다. 실제 웹사이트를 탐색하고 실시간으로 정보를 처리하는 데 시간이 걸리기 때문에, AI가 백그라운드에서 화면을 조작하는 동안 사용자는 다른 업무에 집중하거나 잠시 자리를 비워야 할 수도 있다. 이는 소프트웨어의 정체성이 완전히 바뀌었음을 의미한다. 정보를 제공하는 도구에서, 사용자를 대신해 실제 노동을 수행하는 대리인으로 진화한 것이다.

04Etched 전용 칩, 범용 GPU 대비 최대 50배의 추론 효율

AI가 답을 내놓는 과정인 '추론(inference)'의 속도와 비용이 차세대 컴퓨팅 하드웨어의 핵심 격전지가 됐다. 그동안 NVIDIA GPU가 AI 학습에 필요한 범용적인 성능으로 시장을 장악했다면, 이제는 실제 결과물을 출력하는 단계에 최적화된 맞춤형 칩들이 등장하는 추세다. 모델이 최종 답변을 생성하는 방식에만 집중해 범용 하드웨어의 한계를 넘고, 복잡한 모델을 구동하는 데 드는 시간과 에너지를 획기적으로 줄이겠다는 전략이다. 이제는 '학습'이 아니라 '출력'의 시대다.

스타트업 Etched는 '극단적 특화'라는 승부수를 던졌다. 이들의 하드웨어는 GPT-2 이후 최신 AI 모델들의 근간이 된 트랜스포머(Transformer) 구조, 즉 재귀적 학습과 다음 단어 예측 시스템에만 최적화되어 설계됐다. 이는 AI 설계의 미래에 모든 것을 건 고위험 고수익 베팅이다. 만약 트랜스포머가 계속 주류 구조로 남는다면, Etched의 특화 칩은 기존 하드웨어보다 10배에서 50배 더 높은 효율을 낼 수 있다. 범용 GPU가 가진 유연성을 과감히 버린 대신, 트랜스포머 구조의 수학적 연산을 훨씬 빠르게 처리해 AI 서비스의 속도를 비약적으로 끌어올리는 방식이다. 유연함을 버리고 속도를 택했다.

맞춤형 추론 하드웨어로의 전환은 NVIDIA의 독주를 막으려는 업계 거물들의 공통된 흐름이다. 주요 AI 연구소들은 이미 AI 출력 최적화를 위해 자체 칩 개발에 뛰어들었다. 오픈AI는 최근 jalapeno 칩을 발표했고, 앤스로픽 역시 삼성과 협력해 자체 칩을 만들고 있다는 소문이 돌고 있다. Cerebrus와 Grok 같은 기업들도 특화 하드웨어 개발에 박차를 가하는 중이다. 이는 AI 경제의 패러다임이 '모두에게 맞는 단일 칩'에서 '전례 없는 효율을 내는 정밀 튜닝 하드웨어'의 시대로 넘어가고 있음을 의미한다. 하드웨어의 표준이 사라지고 있다.

05단순 비서에서 팀장으로, Fable이 바꾸는 AI 협업 구조

Fable의 진짜 가치는 단순한 작업 수행이 아니라, 다른 AI들을 진두지휘하는 '조율(orchestration)' 역할에서 나온다. 특정 기능을 수행하는 독립적인 AI 모듈인 에이전트들을 적재적소에 배치하고 협업시켜 복잡한 프로젝트를 완수하는 식이다. 덕분에 개발자들은 서로 다른 애플리케이션이 소통할 수 있게 돕는 소프트웨어 도구 모음(API, SDK)을 배포하는 과정을 훨씬 효율적으로 처리할 수 있게 됐다. 콘텐츠 크리에이터 테오(Theo)는 Fable이 AI가 중앙 제어 장치가 되어 다단계 작업을 감독하는 '자율형 작업 흐름(agentic workflows)'을 제대로 이해한 첫 번째 모델이라고 평가했다. AI가 이제는 단순한 비서가 아니라 팀장이 된 셈이다.

이런 능력이 가능한 이유는 사용자들이 말하는 Fable 특유의 뛰어난 '코드 감각(taste)' 덕분이다. 프로그래밍에서 감각이란 단순히 기능이 작동하는 것을 넘어, 효율적이고 유지보수가 쉬운 우아한 코드를 짜는 능력을 의미한다. 오픈AI의 모델들이 내놓는 코드가 다소 어색하거나 조잡한 느낌이 있다면, Fable은 훨씬 세련된 결과물을 만들어낸다. 특히 Fable 5는 전체 작업 흐름 속에서 컨트롤러나 관리자 역할을 수행할 때 최상의 성능을 발휘하며, 다른 에이전트들이 만든 결과물을 최종적으로 다듬어 완성도를 높인다. 이제 AI는 보조 도구를 넘어 기술 파이프라인 전체의 품질을 책임지는 고수준 감독관으로 진화했다.

다만 개별 모델의 성공과는 별개로, 업계 전체는 이런 자율형 협업을 어떻게 조직화할 것인가라는 숙제를 안고 있다. 에단 말릭(Ethan Malik) 교수는 사람이 계속 개입하지 않아도 스스로 문제를 해결하는 '장기 작동 에이전트'를 위한 효율적인 작업 흐름을 설계하는 단계는 아직 초기 수준이라고 지적한다. Fable 같은 모델이 감독관 역할을 훌륭히 수행하고 있음에도, 정작 이런 장기적인 AI 운영을 어떻게 구조화해야 하는지에 대한 표준 지침(best practice)은 없는 상태다. 도구의 능력은 이미 정점에 달했지만, 이를 다루는 인간의 관리 체계가 속도를 따라가지 못하고 있다.

06오픈AI: 전용 칩 Jalapeno, 챗GPT의 속도와 비용을 잡는 승부수

오픈AI가 챗GPT의 속도를 높이고 이용 비용을 낮추기 위해 하드웨어 자립에 나섰다. 텍스트를 생성하는 과정에서 발생하는 지연 시간과 비용을 줄이려는 전략이다. 이를 위해 Broadcom과 손잡고 전용 칩 'Jalapeno'를 개발한다. 범용 하드웨어에 의존하는 대신, 모델 작동 방식에 최적화된 설계를 도입하는 수직 계열화(vertical integration)로의 중대한 전환이다. 하드웨어 주도권을 직접 쥐겠다는 선언이다.

Jalapeno 칩은 학습된 모델이 사용자에게 답변을 제공하는 단계인 추론(inference)에 특화됐다. 챗GPT의 요구사항에 맞춰 극도로 최적화되었지만, 모델의 기본 구조인 트랜스포머(transformer architecture)를 칩에 완전히 고정시키지는 않았다. 덕분에 AI 구조가 변해도 유연하게 대응하면서 대규모 사용자 수요를 처리할 수 있는 속도와 효율성을 동시에 확보했다. 이는 기존에 사용하던 Cerebris의 가속기에서 벗어나려는 움직임이다. Cerebris는 빠른 토큰 생성을 도왔지만, 오픈AI의 폭발적인 확장 규모를 감당하기에는 역부족이었다. 외부 솔루션으로는 한계가 명확했다.

전용 칩 개발은 하드웨어 접근 방식 전체를 처음부터 다시 설계해야 하는 고위험 도박이다. 기성 제품을 사용하는 것과 달리 설계 주기 전체를 완전히 뜯어고쳐야 하며, 이는 빅테크 기업들이 겪어온 복잡한 엔지니어링 과정과 같다. 하지만 오픈AI는 장기적인 성능 향상과 비용 절감 효과가 개발 리스크보다 훨씬 크다고 판단했다. 이제 소프트웨어 최적화만으로는 부족하다. 거대언어모델의 성장 속도와 성능을 유지하려면 물리적인 하드웨어부터 목적에 맞게 설계해야 하는 시대가 왔다. 이제는 하드웨어가 AI의 성능을 결정한다.

07AI 연구소의 컴퓨팅 자원, 학습보다 추론에 50% 투입

최첨단 AI 연구소들이 컴퓨팅 자원을 운용하는 방식이 근본적으로 바뀌고 있다. 대중의 인식과 달리, 이들 기업은 단순히 차세대 거대 모델을 만드는 학습(training)에만 모든 자원을 쏟지 않는다. 현재 전체 컴퓨팅 자원의 약 40%에서 50%가 사용자의 질문에 답을 내놓는 추론(inference) 과정에 할당되고 있다. 이는 가용 처리 능력의 절반 가까이가 모델을 새로 만드는 대신, 수백만 건의 사용자 질의를 실시간으로 처리하는 데 쓰이고 있다는 의미다.

이러한 자원 배분은 기존 AI 개발 관행과는 완전히 다른 모습이다. 과거에는 컴퓨팅 자원의 대부분을 차세대 강력한 모델(예: Mito 6)을 만드는 학습 단계에 집중하는 것이 당연했다. 하지만 여러 단계의 작업을 스스로 수행하는 자율 행동 시스템(agentic systems)이 늘어나면서 추론 수요가 폭발적으로 증가했다. 기업과 사용자가 복잡한 업무 흐름(workflow)을 처리하기 위해 AI를 도입하면서, 시스템을 멈춤 없이 가동하고 즉각적인 응답을 유지하는 데 엄청난 컴퓨팅 파워가 상시로 필요해진 것이다.

이런 업무 부하의 변화는 하드웨어 시장의 혁명을 불러오고 있다. 전체 자원의 상당 부분을 추론에 쏟아야 하는 상황에서, AI 연구소들은 더 이상 범용 그래픽처리장치(GPU)에만 의존하지 않는다. 최근 여러 연구소는 추론 성능을 극대화하기 위해 직접 설계한 맞춤형 AI 칩을 개발하겠다고 발표했다. 학습이 아닌 답변 생성이라는 목적에 맞춰 하드웨어를 최적화함으로써, 자율 행동 모델이 늘어나는 환경에서도 효율성을 높이고 고성능 모델을 전 세계에 서비스할 때 발생하는 막대한 운영 비용을 줄이겠다는 전략이다.

08AI 대체라는 명분 — 실체는 과잉 채용의 청구서

테크 업계의 수많은 인력이 AI 도입이라는 명분 아래 일자리를 잃고 있다. 하지만 그 내막을 들여다보면 단순한 기업 회계의 문제인 경우가 많다. 기업들은 인력 감축의 주원인으로 AI를 내세우지만, 실제로는 몇 년 전 잘못 잡은 인력 규모를 바로잡으려는 시도에 가깝다. 소프트웨어가 인간을 대체했다는 설명은 노동 시장의 혼란만 가중시킬 뿐이다. 결국 기술적 진보가 아니라 회계적 조정이다.

올해에만 이미 10만 명 이상의 감원 소식이 들려왔다. 상당수 기업이 AI를 전면에 내세우며 기술이 인간의 생산성을 직접 대체하고 있다는 서사를 만든다. 하지만 이것이 정말 AI로 인한 대체인지, 아니면 대규모 해고를 정당화하기 위한 편리한 변명인지 구분하기는 매우 어렵다. 바클레이(Barclays)의 수석 경제학자 푸자 시리암(Puja Shiriam)은 일부 생산성 향상이 인력 감축으로 이어졌을 수는 있으나, 반복되는 AI 서사는 결국 기업들의 전방위적인 비용 절감 전략을 가리기 위한 가면이라고 분석했다. AI는 편리한 방패일 뿐이다.

이번 해고 사태의 진짜 뿌리는 많은 기업이 공격적으로 인력을 늘렸던 2022년으로 거슬러 올라간다. 당시의 채용 실수를 인정하는 대신, 기업들은 최근의 AI 열풍을 적절한 구실로 활용하고 있다. AI로의 전환이라는 프레임을 씌우면 투자자들에게는 혁신 의지를 보여주는 동시에, 2022년의 과잉 채용분을 자연스럽게 덜어낼 수 있기 때문이다. 이는 인력 관리 실패라는 오명을 '전략적 기술 진화'라는 세련된 이미지로 바꾸는 고도의 전략이다. 경영 실패를 전략적 진화로 포장한 셈이다.

09무조건 큰 모델만 쓰면 될까? AI 기업들이 '토큰 효율'에 매달리는 이유는?

선두 AI 기업들이 AI 도입 방식을 근본적으로 바꾸고 있다. 그동안은 작업의 난이도와 상관없이 무조건 가장 크고 성능이 좋은 최신 모델(frontier models)을 모든 업무에 투입하는 식이었다. 하지만 이제는 '토큰 효율성'과 '절제'가 핵심이다. 간단한 문제는 저렴하고 빠르게 해결하고, 정말 어려운 문제에만 고비용의 컴퓨팅 자원을 투입하는 전략으로 선회한 것이다. 효율이 곧 경쟁력이다.

결과물을 내기 위해 처리하는 데이터 양, 즉 토큰(token)을 최소화하는 '토큰 절제' 습관은 AI 생태계 전반의 진화를 이끌고 있다. 모든 요청을 거대 모델로 처리하는 것은 비용 낭비가 심하고 운영 부담이 너무 크기 때문이다. 이에 따라 특정 업무만 가볍게 처리하도록 설계된 새로운 모델 구조들이 등장하고 있다. 토큰 사용량을 최적화하면 출력 품질은 유지하면서도 AI 운영 규모를 지속 가능하게 확장할 수 있다. 고성능 컴퓨팅 자원을 정말 필요한 곳에만 아껴 쓸 수 있게 된 셈이다.

이러한 변화의 흐름은 지난 6월에 정점에 달했다. 업계 전반에 걸쳐 매우 영향력 있는 변화가 일어난 시기였다. 7월에 접어든 지금, 시장의 관심은 단순히 '가장 강력한 AI'를 갖는 것에서 '구조적으로 절제된 시스템'을 구축하는 것으로 옮겨갔다. AI 도입의 실험 단계가 끝나고, 효율성이 곧 성능만큼 중요한 '실전 운영 단계'로 진입했다는 신호다. 이제 선두 기업들에게 중요한 것은 AI가 무엇을 할 수 있느냐가 아니라, 실제 서비스 환경에서 얼마나 효율적으로 작동하느냐다.

10Z.ai GLM-5.2, GPT-5.2 압도하며 시작된 자율형 AI 시대

Z.ai가 내놓은 GLM-5.2는 인공지능의 패러다임을 바꾼 결정적 계기였다. 2025년 말부터 2026년 초 사이, 업계는 이른바 '자율형 AI 시대(agentic era)'로 진입했다. 단순히 텍스트 질문에 답하는 수준을 넘어, 복잡한 과업을 스스로 수행하는 자율형 AI(AI agent)가 등장한 것이다. GLM-5.2는 Opus 4.6과 GPT 5.2의 성능을 모두 앞지르며 AI가 새로운 임계점을 넘었음을 증명했다. 수동적인 디지털 비서의 시대가 가고, 능동적인 실행자의 시대가 온 것이다.

물론 GLM-5.2가 Fable 5만큼 강력했던 것은 아니다. 하지만 글로벌 테크 시장에 준 충격은 즉각적이었다. 성능이 갑자기 도약하자 앤스로픽 같은 경쟁사들은 새로운 기준에 대응할 시간조차 없었다. 이는 단순한 벤치마크 점수 경쟁이 아니었다. 이론으로만 존재하던 '자율성'이 실제 업무 흐름(workflow)에 적용되기 시작했다는 근본적인 변화였다. 이론이 현실이 된 순간이다.

고성능 모델의 등장은 미국 정부의 움직임까지 끌어냈다. 결정적인 도화선은 Amazon에서 시작된 '탈옥(jailbreak, 안전 필터 우회)' 관련 보고서였다. 연방 정부 관계자들은 이 새로운 모델들이 기존에 공개된 도구들과는 차원이 다른 파괴력을 가졌다는 사실을 깨달았다. 탈옥의 구체적인 세부 사항을 두고 이후 협상 과정에서 논쟁이 이어졌지만, 핵심은 분명했다. AI가 자율 행동 단계로 진입하면서 강력한 감시 체계가 시급해졌다는 점이다. 기술적 우위와 규제의 압박이 맞물리며 Z.ai의 모델은 새로운 컴퓨팅 시대의 신호탄이 됐다. 이제 대화창 속의 채팅 AI를 넘어, 스스로 움직이는 자율형 AI의 배치가 시작됐다.

11단순 답변 대신 완성된 커리큘럼을 — Hermes Agent의 추론 모드

AI 툴킷의 설정 하나만 바꾸면 마크다운(Markdown) 형식의 교육 과정 전체와 같은 복잡하고 체계적인 문서를 바로 만들 수 있다. 단순한 질의응답 수준을 넘어, 여러 단계의 작업을 정교하게 처리하는 방식으로 진화한 것이다. 파편화된 답변 대신 논리적 흐름을 갖춘 하나의 완성된 결과물을 내놓는다. 이제 사용자는 흩어진 정보 조각이 아니라, 내부 논리가 일관되게 유지되는 즉시 사용 가능한 커리큘럼을 받게 된다.

이러한 변화는 Hermes Agent에서 '추론 모델 설정(Thinking model type)'을 활성화하면 가능하다. 이 모드에서는 데이터 블록과 정보 간의 복잡한 관계를 깊이 있게 분석하도록 설계된 추론 모델이 작동한다. 단순히 다음에 올 확률이 높은 단어를 예측하는 것이 아니라, 처리할 데이터에 대해 체계적으로 접근한다. AI가 최종 텍스트를 쓰기 전, 응답의 전체 구조를 먼저 설계하는 방식이다. 이 분석 단계 덕분에 결과물은 정확할 뿐만 아니라 논리적 순서와 포괄성을 모두 갖추게 된다.

이 기능을 쓰려면 Hermes 인터페이스에서 몇 가지 설정이 필요하다. 먼저 LM Studio 같은 제공업체와 연결해야 하는데, 여기서 경량화 모델(quantized model)을 백그라운드에서 실행해 무거운 연산을 처리한다. 제공업체 설정의 API 섹션에서 IP 주소를 입력해 두 시스템을 연결하면 된다. 연결 후 LLM 섹션에서 '추론 모델 설정'을 선택하는 순간, 단순한 비서였던 에이전트는 정교한 다단계 작업 흐름(workflow)을 수행하는 전문 도구로 변한다. 방대한 데이터를 다루면서도 높은 수준의 조직력과 구조적 완성도가 필요한 사용자에게는 필수적인 변화다.

12Qwen 3.6와 젬마 4: 단순 답변을 넘어 '프로젝트'를 설계하는 AI

AI가 복잡한 다단계 지시를 처리하는 방식이 근본적으로 바뀌고 있다. 단순히 기존 데이터를 기반으로 패턴을 읽어내는 수준을 넘어, 훨씬 의도적이고 구조적인 접근법을 취하기 시작했다. Qwen 3.6와 젬마 4가 대표적이다. 이 모델들은 복잡한 과제를 수행할 때 즉흥적이고 단편적인 답변을 내놓는 대신, 논리적인 순서에 따라 단계별로 실행해 결과물의 일관성과 정확도를 높인다. 이제 AI는 즉흥적으로 답하지 않는다. 사용자는 깊은 기획력과 정밀한 실행력이 필요한 업무 흐름(workflow)에서도 훨씬 신뢰할 수 있는 결과를 얻게 됐다.

이러한 성능 향상의 배경에는 Fable 5 프레임워크가 있다. Qwen 3.6와 젬마 4는 이 체계 안에서 논리적 단계 수행 능력과 도구 통합(tool integration, 외부 디지털 도구를 연결해 문제를 해결하는 능력) 능력을 집중적으로 강화했다. 단순한 텍스트 생성을 넘어, 프롬프트를 하나의 질문이 아니라 전략적 로드맵이 필요한 '프로젝트'로 인식하도록 학습한 결과다. 순서 하나만 틀려도 전체 결과물이 실패로 이어지는 전문적인 비즈니스 영역에서 이 모델들이 특히 강력한 이유다.

실제 작동 방식에서도 뚜렷한 변화가 관찰된다. 예를 들어, 루프 구조로 문제를 해결하는 자율형 AI(recursive agents)를 분석해 체계적인 강의 커리큘럼을 짜달라는 복잡한 요청을 받았을 때다. 이 모델들은 곧바로 글을 쓰는 대신 '분석 단계'부터 시작한다. 요청 사항을 관리 가능한 단위로 쪼개고, 각 요소 간의 관계를 먼저 파악한 뒤에야 실제 작성을 시작한다. 고도의 추론 능력이 작동하는 방식이다. 소형 모델들이 이런 복잡한 추론 과정에서 자원 한계로 허덕이는 것과 달리, Qwen 3.6와 젬마 4는 다단계 작업 전반에서 높은 정밀도를 유지한다.