상위 10% 선도 기업이 만드는 8.3배의 출력 토큰 격차

OpenAI가 매월 활성 사용자당 출력 토큰 양을 기준으로 기업 고객을 분석해 상위 10%에 해당하는 선도 기업이 일반 기업(45~55분위)보다 8.3배 많은 토큰을 생성한다는 사실을 밝혔다. 출력 토큰은 모델이 생성한 텍스트의 총량으로, 사용자가 AI를 얼마나 심도 있게 활용하는지를 나타내는 대리 지표로 활용된다. 2024년 1월 당시 선도 기업과 일반 기업의 격차는 2.6배 수준이었으나, 6월에는 8.3배로 확대되며 6개월 만에 격차가 3배 이상 벌어졌다. 이러한 현상은 AI를 단순한 정보 검색이나 초안 작성용 보조 도구로 쓰는 기업과, 실제 업무를 완결 짓는 실행 도구로 활용하는 기업 사이의 활용 깊이 차이에서 기인한다.

이러한 활용도 격차는 특정 산업군이나 기업 규모에 관계없이 전 산업 영역에서 공통적으로 나타난다. AI 활용 능력이 뛰어난 집단이 기술 기업에만 쏠려 있지 않으며, 제조나 금융 등 다양한 업종의 선도 기업들이 동일한 모델을 사용하면서도 더 빠르고 깊게 조직 내부에 적용하고 있다. 격차가 발생하는 핵심 이유는 에이전트를 기업 컨텍스트(사내 고유 정보), 외부 도구, 그리고 반복 가능한 워크플로우에 연결하는 구현 역량의 차이에 있다. 단순히 모델에 질문을 던지는 수준을 넘어, AI가 기업 내부 데이터를 읽고 적절한 도구를 선택해 정해진 순서대로 작업을 수행하게 만드는 환경을 구축한 결과다.

기업 AI의 활용 방향은 이제 단순한 보조(Assistance)에서 실제 업무를 완결하는 실행(Execution)으로 빠르게 전환되고 있다. 일반 기업이 AI에게 질문을 던져 답변을 얻는 수준에 머물러 있다면, 선도 기업은 AI가 스스로 판단하고 행동하여 결과물을 만들어내는 구조를 지향한다. 에이전트가 사내 정보에 접근해 맥락을 파악하고, 필요한 소프트웨어 도구를 호출하며, 복잡한 다단계 작업을 반복적으로 수행할수록 생성되는 출력 토큰의 양은 자연스럽게 증가한다. OpenAI 기업 고객은 맞춤형 벤치마크를 요청해 자사의 조직이 선도 기업과 비교해 어느 위치에 있는지 확인할 수 있다.

플러그인과 스킬을 통한 '실행형 에이전트' 구현 방식

선도 기업의 주간 활성 사용자 중 플러그인 이용률은 21%로, 일반 기업의 9%보다 2배 이상 높게 나타났다. 플러그인은 특정 워크플로우를 완결하기 위해 필요한 기능과 앱을 하나로 묶은 패키지로, 모델이 텍스트 생성을 넘어 기업 내부 데이터베이스나 외부 소프트웨어 도구에 직접 접근해 동작을 수행하게 만드는 연결 고리 역할을 한다. 여기에 스킬이 결합된다. 스킬은 여러 작업에서 반복적으로 사용할 수 있도록 설계된 지침의 집합으로, 모델이 특정 업무 상황에서 어떤 순서로 사고하고 행동해야 하는지 정의한 표준 운영 절차와 같다.

실행형 에이전트는 이러한 플러그인과 스킬을 결합해 복잡한 업무를 처리한다. 영업 분야의 플러그인을 예로 들면, 팀의 영업 플레이북과 CRM(고객 관계 관리 시스템) 접근 권한을 하나의 패키지로 묶어 운영한다. 에이전트는 먼저 스킬에 저장된 재사용 가능 지침을 호출해 작업 목적을 파악한 뒤, 플러그인을 통해 CRM에 접속하여 최신 고객 정보와 과거 제안서 데이터를 추출한다. 이후 추출된 데이터를 바탕으로 고객 맞춤형 응답 초안을 작성하고 이를 담당 직원이 검토할 수 있는 상태로 전달하며 업무를 완결한다.

스킬의 활용도에서는 기업 간 격차가 더욱 극명하게 드러난다. 선도 기업의 스킬 주간 활성 사용자 비율은 19%인 반면, 일반 기업은 3%에 불과하다. 이는 모델에게 매번 새로운 명령어를 입력하는 수준을 넘어, 재사용 가능한 정교한 지침 체계를 설계하고 조직 내에 배포하는 엔지니어링 역량에서 차이가 발생함을 보여준다. 플러그인이 데이터와 앱이라는 물리적 도구를 제공한다면, 스킬은 그 도구를 효율적으로 사용하는 방법론을 제공한다. 이 두 가지 요소가 유기적으로 결합될 때 모델은 단순한 질의응답 도구에서 실질적인 업무 수행자로 전환된다.

이러한 기능들의 잠재적 활용 한계치는 개발사인 OpenAI 내부의 사용 지표에서 확인된다. OpenAI 활성 사용자의 플러그인 주간 사용률은 95%에 달한다. 현재 시장의 선도 기업들이 보여주는 21%라는 수치조차 실제 구현 가능한 활용 범위의 극히 일부에 불과하다. 이는 많은 기업이 여전히 AI를 단순한 지식 검색이나 텍스트 요약 도구로 활용하고 있으며, 에이전트로서의 잠재력을 완전히 끌어내지 못하고 있다는 증거다. 결국 실행형 에이전트 구현의 핵심은 모델의 지능 자체가 아니라 사내 데이터 인프라와 도구를 얼마나 정교하게 연결하고 이를 표준화된 스킬로 정의하느냐에 달려 있다.

지식 노동 전반으로 확산되는 코덱스(Codex)의 활용

OpenAI가 2월 이후 주간 활성 기업 사용자 증가율을 분석한 결과, 법무 분야가 108배로 가장 가파르게 상승했으며 영업과 채용 분야가 각각 41배, 마케팅 분야가 26배 증가했다. 반면 소프트웨어 개발을 담당하는 엔지니어링 분야의 증가율은 5배에 머물렀다. AI 도구의 도입 속도가 개발자라는 특정 직군을 넘어 법무나 영업 같은 일반 지식 노동 영역에서 훨씬 빠르게 전개되고 있다는 결과다. 이는 AI가 특정 기술 스택을 가진 전문가의 전유물에서 모든 사무직의 기본 도구로 확장되는 양상을 수치로 보여준다.

이 변화를 이끄는 핵심 도구는 코덱스(Codex)다. 코덱스는 단순한 코드 생성기를 넘어 외부 도구를 호출하고 파일을 생성하며 검토용 결과물을 직접 제작할 수 있는 모델이다. 기존의 AI 활용이 발표 자료를 어떻게 구성해야 하는지 방법론을 묻는 수준이었다면, 이제는 에이전트에게 여러 출처의 정보를 수집해 발표 자료 초안을 직접 만들라고 명령하는 방식으로 바뀌었다. 사용자가 생각의 과정을 정리하도록 돕는 어시스턴트 역할에서 업무를 실제로 완결 짓는 에이전트로 기능의 무게중심이 이동한 것이다.

실제 사용량 수치는 이러한 기능적 전환을 구체적으로 증명한다. 6월 기준 기업 고객이 생성한 전체 출력 토큰 중에서 코덱스가 차지하는 비중은 64%에 이른다. 이는 챗지피티(ChatGPT)가 생성한 양을 크게 상회하는 수치다. 일반적인 채팅 서비스가 짧은 질의응답을 주고받는 구조라면, 코덱스를 활용한 작업은 파일 생성과 도구 사용이 결합되어 훨씬 방대한 양의 텍스트를 생성한다. 사용자가 입력한 질문의 길이보다 모델이 내놓는 결과물의 길이가 압도적으로 길어지는 구조가 정착된 셈이다.

이러한 출력량의 차이는 에이전틱 워크플로우(Agentic Workflow)의 특성에서 기인한다. 단발성 질문은 한 번의 답변으로 끝나지만, 에이전틱 워크플로우는 정보를 찾고 분석하며 초안을 쓰고 수정하는 다단계 과정을 거친다. 각 단계마다 모델이 생성하는 텍스트가 누적되므로 전체 출력 토큰의 양이 급증하게 된다. 기업 내 AI 사용 패턴이 단순한 정보 검색에서 복잡한 업무 수행으로 옮겨가면서 모델의 출력 비중 자체가 재편된 결과다. 이는 AI가 단순한 답변기가 아니라 실제 업무를 수행하는 실행기로서 작동하고 있음을 보여주는 지표다.

업무 시간의 극단적 단축과 사용자 계층의 역전 현상

버진 애틀랜틱(Virgin Atlantic) 엔지니어링 팀은 코덱스를 도입해 레거시 코드 리팩토링 시간을 2주에서 30분으로 단축했다. 기존에는 엔지니어가 수만 줄의 낡은 코드를 일일이 분석하고 함수 간의 의존 관계를 파악해 수정안을 짜는 데 2주라는 물리적 시간이 필요했다. 하지만 코덱스가 코드의 전체 맥락을 빠르게 파악해 최적화된 구조를 제시하면서 전체 공정이 30분으로 압축되었다. 개발자가 수작업으로 수행하던 분석 단계가 자동화되며 개발 주기 자체가 변했다.

제품 팀의 전략 수립 과정에서도 극단적인 시간 단축이 일어났다. 제품 팀은 챗GPT 워크(ChatGPT Work)를 통해 여러 채널에 흩어진 시장 데이터를 빠르게 취합하고 분석하는 과정을 자동화하여, 경쟁사 조사와 5개년 디지털 전략 수립에 소요되던 수 주의 시간을 수 시간으로 줄였다. 수많은 웹 페이지와 문서에서 핵심 인사이트를 추출하고 이를 기업의 전략적 프레임워크에 맞게 정리하는 단순 반복 단계가 사라졌다. 정보 수집과 초안 작성 시간이 획기적으로 줄어들자, 제품 팀은 전략의 구체적인 방향성을 결정하는 핵심 의사결정과 검토 단계에 더 많은 시간을 할당하게 되었다.

실제 사용량 데이터는 직급과 AI 활용도 사이의 역전 현상을 증명한다. 도입 6개월 후의 행정 데이터를 분석한 결과, 초기 경력 직원(Early-career)이 임원보다 주당 평균 13개의 메시지를 더 많이 전송했다. 그동안 진행된 여러 설문 조사에서는 리더나 임원급이 AI를 더 활발하게 사용한다고 보고해 왔으나, 실제 대화 로그 기반의 수치는 이와 정반대의 결과를 나타낸다. 이는 설문 응답자가 느끼는 주관적인 사용 경험과 실제 시스템에 기록된 API 호출 횟수 사이에 큰 간극이 존재한다는 사실을 보여준다.

메시지 전송 횟수의 차이는 AI 에이전트가 실무자의 작업 방식을 바꾸는 구체적인 양상이다. 임원진이 AI를 주로 보고서 요약이나 아이디어 도출 같은 상위 수준의 보조 도구로 쓰는 반면, 주니어 직원들은 실제 결과물을 만들어내는 실행 도구로 활용한다. 주당 13개의 추가 메시지는 단순한 빈도 차이를 넘어, 업무의 세부 단계를 AI와 함께 쪼개어 수행하는 방식이 실무 계층에 더 깊게 침투한 결과다. 실무자들은 복잡한 작업을 작은 단위로 나누어 에이전트에게 요청하고 그 결과물을 다시 검토하는 피드백 루프를 반복하며 업무를 완결한다.

한국 AI 실무자를 위한 '실행 단계' 전환 체크리스트

AI 실무자가 단순 보조를 넘어 실제 업무 수행 단계로 진입하려면 에이전트의 컨텍스트 연결, 명확한 권한 설정 및 거버넌스, 그리고 인간의 검토 단계라는 세 가지 요소가 동시에 충족되어야 한다. 단순히 고성능 모델을 도입하는 것만으로는 부족하며, 에이전트가 사내의 실제 데이터에 접근하고 이를 외부 API나 내부 소프트웨어 같은 도구와 연결해 실질적인 결과물을 낼 수 있는 환경을 구축하는 것이 우선이다. 특히 권한 설정과 거버넌스가 부재한 상태에서의 연결은 민감 정보 유출이나 잘못된 명령 실행 같은 보안 사고로 이어질 수 있으므로, 누가 어떤 데이터에 접근해 어떤 도구를 실행할 수 있는지에 대한 엄격한 정의와 통제 체계가 선행되어야 한다.

조직 리더는 사내에서 이미 AI 습관이 강하게 형성된 직원을 식별하고 이들이 사용하는 개별 워크플로우를 가시화하여 조직 전체에 공유하는 역할을 수행해야 한다. 선도적인 성과를 내는 소수 인원의 활용 사례는 대개 개인의 암묵적인 노하우에 머물러 있어, 이를 명시적인 표준 프로세스로 전환하지 않으면 조직 전체의 생산성 향상으로 이어지지 않는다. 리더는 고성과자가 어떤 프롬프트를 사용하고 어떤 도구를 어떤 순서로 연결해 복잡한 문제를 해결하는지 세부적으로 분석하여 이를 문서화하거나 재사용 가능한 템플릿 형태로 배포해야 한다.

실행 단계의 안착을 위한 성공 조건은 지속적인 직원 학습과 공유 워크플로우의 확산, 그리고 이를 뒷받침하는 데이터 인프라 및 거버넌스에 대한 보완적 투자가 병행되는 것이다. AI 모델의 업데이트 주기와 기능 확장 속도가 매우 빠르기 때문에 단발성 교육으로 끝내지 않고, 새로운 기능과 최적의 활용법을 구성원들이 계속 학습하고 실험하는 문화가 조직 내에 뿌리내려야 한다. 또한, 개별적으로 파편화되어 존재하는 워크플로우를 통합 관리하고 업데이트할 수 있는 시스템을 구축하고, 에이전트가 참조하는 데이터의 최신성과 정확성을 유지하기 위한 데이터 파이프라인 투자가 함께 이루어져야 한다.

미국 상장 기업을 대상으로 한 분석에서 AI 도입 기업은 비도입 기업보다 더 많은 자산을 보유하고 더 많은 직원을 고용하며 R&D 투자 수준이 더 높았다는 점은 시사하는 바가 크다. 결국 AI 도입 성과를 가르는 실질적인 기준은 모델 접근 권한의 확보가 아니라, 고성과자의 개별 활용 사례를 조직의 표준 프로세스로 전환하는 거버넌스 구축과 워크플로우 공유 단계에 있다.