우리는 궁금한 것이 생기면 인터넷 창을 열고 직접 검색을 한다. 하지만 이제는 내가 직접 찾지 않아도 AI 에이전트(사용자를 대신해 인터넷에서 일을 처리하는 똑똑한 비서)가 대신 정보를 찾아주고 예약까지 해주는 세상이 오고 있다. 그런데 여기서 한 가지 문제가 생긴다. 우리가 보는 웹사이트는 사람의 눈에 예쁘게 보이도록 만들어졌지, AI가 읽기 좋게 만들어진 것은 아니라는 점이다. 과연 AI 비서가 내 웹사이트에 방문했을 때 길을 잃지 않고 원하는 일을 정확히 처리할 수 있을까.

Cloudflare가 만든 AI 전용 성적표

최근 Cloudflare(웹사이트를 안전하고 빠르게 만들어 주는 회사)가 내 웹사이트가 AI 에이전트에게 얼마나 친절한지 알려주는 도구를 내놓았다. 이 도구는 웹사이트를 검사해서 점수를 매겨준다. 단순히 점수만 주는 것이 아니라 AI가 정보를 잘 찾을 수 있는지, 글자 모양은 적절한지, 보안 설정은 잘 되어 있는지, 그리고 AI가 실제로 어떤 기능을 쓸 수 있는지를 4가지 영역으로 나누어 살펴본다.

만약 점수가 낮게 나온 항목이 있다면 이 도구는 해결 방법까지 함께 알려준다. 특히 코딩 AI에게 그대로 전달해서 바로 고칠 수 있는 프롬프트(AI에게 내리는 구체적인 명령문)를 제공한다는 점이 흥미롭다. 사람이 일일이 코드를 수정하지 않아도 AI가 AI를 위한 환경을 스스로 고치게 만드는 방식이다. 결국 내 사이트가 AI에게 얼마나 친절한지 숫자로 확인할 수 있게 된 것이다.

사람의 눈과 AI의 눈은 완전히 다르다

왜 굳이 이런 점수표가 필요할까. 비유하자면 사람은 화려한 간판과 예쁜 인테리어를 보고 가게를 찾아가지만, AI 에이전트는 가게 문 앞에 붙어 있는 아주 작은 안내문과 지도만을 보고 움직이기 때문이다. 우리가 보는 화려한 이미지나 버튼들은 AI에게는 그저 복잡한 암호처럼 보일 때가 많다.

그래서 AI에게는 robots.txt(로봇이 들어와도 되는지 알려주는 안내판)나 sitemap.xml(웹사이트의 모든 페이지가 어디 있는지 적어둔 지도) 같은 명확한 이정표가 필요하다. 또한 Link Headers(페이지와 페이지 사이의 연결 고리를 알려주는 꼬리표)가 잘 달려 있어야 AI가 헤매지 않고 다음 단계로 넘어갈 수 있다. 글자 역시 Markdown(컴퓨터가 읽기 쉽게 쓴 단순한 글쓰기 방식)처럼 군더더기 없는 형태로 제공되어야 AI가 핵심 내용을 빠르게 파악한다. 사람에게 예쁜 사이트보다 AI가 읽기 편한 사이트가 더 중요해지는 시점이 온 것이다.

정보를 보는 곳에서 일을 시키는 곳으로

단순히 읽는 것을 넘어 AI가 내 사이트에서 직접 결제를 하거나 예약을 하게 만들려면 더 복잡한 약속이 필요하다. 이를 위해 Cloudflare는 AI가 사이트의 기능을 한눈에 알 수 있는 API Catalog(웹사이트가 할 수 있는 일들을 모아놓은 메뉴판)와 비밀번호 없이 안전하게 로그인하는 OAuth(사용자 인증을 도와주는 안전한 열쇠) 같은 장치들이 잘 갖춰져 있는지 확인한다.

더 나아가 MCP Server Card(AI 에이전트가 서버의 능력을 한눈에 알 수 있게 만든 명함)나 WebMCP(AI와 서버가 대화하는 공통 약속) 같은 최신 표준을 지원하는지도 점검한다. 이런 장치들이 마련되면 AI 에이전트가 내 사이트에 들어와서 상품을 고르고, 내 정보를 확인해 결제까지 마치는 에이전트 커머스(AI 비서가 대신 쇼핑하는 서비스)가 가능해진다. 이제 웹사이트는 단순히 정보를 보여주는 곳이 아니라 AI가 대신 일을 처리하는 도구가 된다.

인터넷 세상의 주인공이 사람의 손가락에서 AI의 명령어로 옮겨가고 있다. 앞으로의 웹사이트는 누가 더 예쁘게 만드느냐가 아니라, 누가 더 AI가 일하기 좋게 만드느냐의 싸움이 될 것이다.