로봇을 만든다고 생각해보자. 오늘은 A 회사가 만든 뇌가 가장 똑똑한데, 내일은 B 회사가 만든 뇌가 더 좋다는 소식이 들려온다. 그때마다 로봇의 몸체를 다 뜯어내고 전선을 새로 연결해야 한다면 너무 힘들 것이다.

Cloudflare가 만든 AI 통합 통로

Cloudflare(인터넷 연결을 빠르고 안전하게 도와주는 회사)가 이런 불편함을 해결했다. AI Gateway(여러 AI 모델을 한곳에서 연결해 주는 문)라는 서비스를 통해 12개가 넘는 회사의 AI 모델 70여 개를 한곳에 모았다. 이제 개발자는 API(프로그램끼리 서로 대화하는 약속) 하나만 알면 된다.

코드 한 줄만 바꾸면 OpenAI에서 Anthropic으로 뇌를 순식간에 갈아끼울 수 있다. 여러 회사에 따로 돈을 낼 필요 없이 한곳에서 비용을 관리하는 것도 가능하다. 심지어 글자뿐만 아니라 이미지, 비디오, 목소리를 만드는 모델까지 모두 사용할 수 있다. 이제 개발자는 어떤 모델이 가장 좋은지만 고민하면 된다.

AI 에이전트의 속도를 결정하는 거리

단순한 챗봇은 질문 하나에 답 하나만 하면 끝난다. 하지만 스스로 생각하고 움직이는 AI 에이전트(복잡한 일을 스스로 계획하고 실행하는 AI)는 다르다. 에이전트는 하나의 일을 끝내기 위해 AI에게 10번 넘게 물어봐야 할 때가 많다.

비유하자면 심부름꾼이 시장에 가서 물건을 사 오는데, 가게마다 들를 때마다 한참을 기다려야 하는 상황과 같다. 한 곳에서 0.1초만 늦어져도 10곳을 들르면 1초가 늦어진다. Cloudflare는 전 세계 330개 도시에 데이터 센터(컴퓨터들이 모여 있는 큰 창고)를 가지고 있다. 사용자와 AI 모델 사이의 물리적인 거리를 좁혀서 대답이 시작되는 시간을 확 줄였다.

나만의 AI 모델을 담는 마법 상자

회사마다 가지고 있는 특별한 데이터로 학습시킨 나만의 AI를 쓰고 싶을 때가 있다. 이때는 Cog(AI 모델을 어디서든 실행할 수 있게 상자에 담아주는 도구)라는 기술을 사용한다. 원래 AI 모델을 설치하려면 CUDA(그래픽 카드를 이용해 계산을 빠르게 하는 기술) 설정이나 복잡한 프로그램 버전 맞추기 같은 어려운 작업이 필요하다.

Cog는 이런 복잡한 과정을 생략하고 AI 모델을 하나의 상자에 깔끔하게 담아준다. 개발자는 이 상자를 Workers AI(클라우드에서 AI를 바로 실행하게 해주는 도구)에 올리기만 하면 된다. 앞으로는 GPU(복잡한 계산을 아주 빠르게 처리하는 부품) 스냅샷 기술을 통해 잠들어 있던 AI가 깨어나 대답하는 시간까지 더 빠르게 만들 계획이다.

이제 AI 모델을 선택하고 바꾸는 일이 레고 블록을 갈아 끼우는 것처럼 쉬워진다.