AI 봇 분류 체계의 세분화와 기본 설정 변경

단순히 AI 봇의 진입을 막느냐 허용하느냐의 이분법적 선택지가 바뀐다. 클라우드플레어는 기존의 'AI 봇 차단(Block AI Bots)' 옵션을 넘어, 봇의 목적을 검색(Search), 에이전트(Agent), 학습(Training)의 세 가지 카테고리로 나누어 관리하는 기능을 도입했다. 이는 봇이 사이트에서 무엇을 하는지, 데이터를 어떻게 저장하고 다시 공유하는지에 따라 제어권을 세밀하게 조정하기 위한 조치다.

가장 구체적인 변화는 2026년 9월 15일부터 적용되는 기본 설정값이다. 새롭게 온보딩되는 모든 도메인은 광고가 표시되는 페이지에서 '학습'과 '에이전트' 봇을 기본적으로 차단한다. 반면, 방문자 유입을 돕는 '검색' 봇은 기본 허용 상태로 유지된다. 광고가 붙은 페이지는 인간의 주의 집중이 수익으로 연결되는 공간이라는 판단에 따라, 이를 저해할 수 있는 자동화 봇을 우선적으로 걸러내겠다는 의도다.

여러 목적을 동시에 수행하는 복합 봇에 대한 처리 기준도 엄격해진다. 구글봇(Googlebot), 애플봇(Applebot), 빙봇(BingBot)처럼 검색과 학습을 동시에 수행하는 봇의 경우, 사용자가 '학습' 봇 차단을 선택했다면 검색 기능과 상관없이 해당 봇의 접근이 차단된다. 가장 제한적인 규칙이 우선 적용되는 구조를 통해 웹사이트 소유자의 콘텐츠 보호 권한을 강화했다.

검색 노출과 데이터 학습 사이의 선택지 확장

그동안 소규모 사이트 운영자들은 '검색 노출을 위해 AI 학습을 허용하거나, 학습을 막기 위해 검색 결과에서 사라지는' 위험한 선택을 강요받았다. 검색 엔진이 검색 인덱싱과 모델 학습에 동일한 봇을 사용할 때 발생하는 불균형 때문이다. 이번 업데이트는 이러한 '파우스트적 거래'에서 벗어나, 검색 유입은 유지하면서 학습 데이터로의 무단 활용만 선택적으로 막을 수 있는 기술적 근거를 제공한다.

콘텐츠 활용 수준에 따른 제어 체계도 구축 중이다. 클라우드플레어는 봇이 수집한 데이터를 어떻게 사용하는지에 따라 '참조(Reference)', '요약(Summary)', '재생산(Reproduce)'의 세 단계로 구분하는 기능을 개발하고 있다. 예를 들어 "검색과 SEO 봇은 허용하되, 활용 수준은 '참조' 단계까지만 제한한다"는 식의 정교한 규칙 설정이 가능해진다.

이러한 흐름은 봇 운영자에게도 투명성을 요구한다. 클라우드플레어는 검색, 에이전트, 학습 기능을 수행하는 자동화 도구를 각각 별도의 크롤러로 분리해 운영할 것을 강력히 권고하고 있다. 봇의 목적을 명확히 분리해야 웹사이트 소유자가 자신의 콘텐츠가 어떤 용도로 쓰이는지 정확히 이해하고 접근 권한을 결정할 수 있기 때문이다.

엔터프라이즈를 위한 가시성 확보와 신뢰 메커니즘

실무적인 관리 도구로는 봇 데이터베이스인 'BotBase'가 도입된다. 엔터프라이즈 봇 관리(Enterprise Bot Management) 고객은 이 대시보드를 통해 검증된(Verified) 봇과 에이전트의 전체 카탈로그를 검색하고, 각 봇이 어떤 카테고리로 분류되어 있는지 실시간으로 확인할 수 있다. 특정 봇을 정밀하게 타겟팅하여 차단하거나 허용하기 위해 감지 ID(Detection ID)를 복사해 보안 규칙에 즉시 적용하는 기능도 포함됐다.

검증된 봇의 정의 또한 변경된다. 이전에는 '검증됨' 상태가 곧 '기본 허용'을 의미했지만, 이제는 해당 봇이 속한 카테고리의 허용 여부에 따라 접근권이 결정된다. 즉, 검증된 봇이라 하더라도 사용자가 '학습' 카테고리를 차단했다면 접근할 수 없다. 대신 봇 운영자가 정직하게 자신을 밝히고 권한을 남용하지 않는다면 검증 상태를 유지할 수 있도록 프로세스를 투명하게 공개하고 관리 도구를 제공할 예정이다.

신뢰의 전이(Transitive Trust) 문제를 해결하기 위한 헤더 표준 제안도 눈에 띈다. 특정 플랫폼을 통해 구동되는 수많은 에이전트의 경우, 실제 운영자가 누구인지 식별하기 어렵다. 이를 위해 RFC 7239의 `Forwarded` 헤더를 활용해 `Forwarded: for="openai";use="reference"`와 같이 운영 주체와 콘텐츠 사용 목적을 명시하는 방식을 제안했다. 이를 통해 사이트 소유자는 중간 매개체와 상관없이 최종 운영자를 신뢰할지 판단할 수 있는 기준을 갖게 된다.