전 세계 웹 요청의 약 3분의 1을 처리하는 대규모 인프라
전 세계 웹 요청 3건 중 1건이 거쳐 가는 거대 인프라의 영향력이 이제 AI 에이전트 영역으로 빠르게 옮겨가고 있다. 일일 웹 트래픽의 상당 부분을 라우팅(데이터가 목적지까지 가는 경로를 지정하는 것)하는 규모를 바탕으로 AI 생태계 확장에 속도를 내는 모습이다. 전 세계 인터넷의 핵심 통로를 쥐고 있는 만큼 새로운 기능이 추가될 때마다 시장에 미치는 파급력이 상당하다.
최근 Agents SDK(소프트웨어 개발 도구 모음)와 Flue, Project Think 같은 제품군을 잇달아 출시하며 제품 라인업을 늘리고 있다. 특히 내부에서 사용하던 에이전트 작업 공간인 Cloudflare OS를 오픈소스로 공개하며 외부 개발자들이 자유롭게 활용할 수 있는 환경을 구축했다. 단순한 도구 제공을 넘어 에이전트가 실제로 구동되고 관리되는 기반 자체를 제공하려는 전략이다.
RAG(외부 데이터를 참조해 AI 답변의 정확도를 높이는 기술) 관련 제품인 AutoRAG는 AI Search로 이름을 바꾸어 제공하며 서비스의 정체성을 명확히 했다. 인프라 전문성이라는 기존의 강점 위에 AI 에이전트와 검색 기능을 빠르게 덧붙이며 제품군을 확장하고 있다. 대규모 트래픽 처리 능력을 AI 서비스의 확장성으로 연결하려는 시도다.
다양한 저장소 제품을 제공하지만, 네이티브한 관리형
제공하는 저장소 제품군의 폭은 D1(서버리스 SQLite)부터 Durable Objects(상태 저장을 위한 SQLite), KV(키-값 저장소), R2(객체 저장소), Queues(메시지 대기열)까지 매우 넓다. 특히 Hyperdrive(외부 데이터베이스 연결 효율을 높이는 도구)는 외부의 Postgres나 MySQL 데이터베이스에 접속할 때 속도를 높여주는 연결 풀러와 캐시 역할을 수행한다. 연결 풀러는 데이터베이스 접속 요청을 미리 만들어 두고 재사용해 응답 시간을 줄이는 장치다. 이를 통해 외부 데이터베이스를 쓰면서도 마치 내부 저장소를 쓰는 것처럼 속도를 높인다. 이렇게 다양한 도구를 갖췄음에도 정작 네이티브한 관리형 PostgreSQL은 제공하지 않는다. 사용자가 인프라 설정 없이 바로 사용할 수 있는 핵심 서비스가 부재한 상태다.
추론 레이어인 Workers AI(AI 모델을 실행하는 계층) 역시 지연 시간을 개선하고 더 큰 오픈 모델을 추가하며 성능을 보완했다. 하지만 실제 많은 워크로드의 처리 속도와 최신 프런티어 모델(가장 앞선 성능의 최신 AI 모델)을 빠르게 도입하는 능력은 전문 제공업체에 비해 뒤처지는 경향이 있다. 최신 모델의 업데이트 속도와 실행 효율이라는 두 가지 핵심 지표에서 전문 업체와의 간극이 여전하다. 인프라의 다양성은 확보했으나 AI 실행의 핵심인 속도와 최신성에서는 한계를 드러낸다.
컴퓨트 환경은 Workers, Dynamic Workers
격리 수준과 시작 시간, 가격 책정 방식이 제각각인 실행 환경들이 섞여 있다. 기본 Workers 외에도 AI 에이전트나 외부의 신뢰할 수 없는 코드를 실행하기 위해 컨테이너의 가벼운 대안으로 내놓은 Dynamic Workers, 그리고 컨테이너 기반의 Sandboxes가 공존한다. 각 옵션마다 데이터 연결 방식인 바인딩과 격리 정도가 모두 달라 개발자는 자신의 프로젝트에 맞는 실행 환경을 선택하는 과정에서 상당한 혼란을 겪는다. 실행 환경마다 비용 체계가 달라 예측 가능한 예산 수립에도 제약이 생긴다.
R2(객체 저장소)와 Vectorize(벡터 데이터베이스), Workers AI(AI 추론 서비스)를 기반으로 구축한 관리형 파이프라인인 AI Search는 과거 AutoRAG에서 이름이 바뀌었다. 간단한 구현 사례에서는 빠르게 작동하지만, 실제 서비스에 투입하면 전문 RAG(검색 증강 생성) 플랫폼이나 잘 짜인 오픈소스 스택보다 성능이 낮다. 특히 검색 결과의 품질과 필터링, 하이브리드 검색 기능은 물론 시스템 내부 동작을 투명하게 확인하는 가시성 면에서 한계가 뚜렷하다.
단순한 데모용 기능과 실제 서비스가 가능한 인프라 수준을 구분하려면 공식 문서의 BETA 배지를 확인하고 실제 로그와 트레이싱 샘플링이 제대로 동작하는지 검증해야 한다.
