우리가 책을 읽을 때 목차를 보고 필요한 페이지를 넘기며 읽는 것과 달리, AI 로봇은 책 전체를 한 번에 입속으로 집어넣으려고 합니다. 그런데 책이 너무 두꺼우면 로봇은 입을 다물지 못하고 그냥 책을 던져버립니다. 우리가 정성껏 만든 설명서가 AI에게는 너무 무거운 짐이 되어 버린 셈입니다. 왜 이런 일이 벌어지는 걸까요.

Cursor와 Aider가 문서를 읽는 이상한 방법

최근 개발자들은 Cursor(AI가 코딩을 도와주는 프로그램)나 Aider(명령어 창에서 AI와 함께 코딩하는 도구) 같은 AI 에이전트를 많이 사용합니다. 이 로봇들은 사람이 웹사이트를 구경하는 방식과 완전히 다르게 행동합니다. 사람은 마우스로 스크롤을 내리고 버튼을 클릭하며 천천히 읽지만, AI는 HTTP(컴퓨터끼리 대화하는 약속된 언어)라는 통로를 통해 페이지 전체 내용을 단 한 번의 요청으로 몽땅 가져옵니다.

문제는 AI가 한 번에 기억할 수 있는 양에 한계가 있다는 점입니다. 예를 들어 Cisco(네트워크 장비를 만드는 큰 회사)의 어떤 설명서는 양이 너무 많아서 AI가 한 번에 읽기에 너무 큽니다. 이렇게 내용이 너무 많으면 AI는 읽다가 중간에 포기하거나, 중요한 부분을 놓치고 그냥 무시해 버립니다. 결국 AI는 우리가 만든 설명서를 읽지 않고 자기 마음대로 답을 하는 상황이 벌어집니다.

토큰이라는 퍼즐 조각이 결정하는 AI의 선택

AI는 글자를 읽을 때 토큰(AI가 글자를 이해하는 가장 작은 단위인 퍼즐 조각)이라는 개념을 사용합니다. AI의 머릿속에는 이 퍼즐 조각을 담을 수 있는 바구니가 있는데, 이 바구니가 꽉 차면 더 이상 정보를 넣을 수 없습니다. 비유하자면 AI의 위장 크기가 정해져 있는 것과 같습니다.

만약 설명서가 이 바구니 크기보다 크면 AI는 환각(사실이 아닌 것을 진짜처럼 말하는 현상)을 일으키기 시작합니다. 읽지 못한 부분을 상상으로 채워 넣기 때문입니다. 이제는 문서가 얼마나 예쁜지가 아니라, 얼마나 적은 토큰을 써서 핵심만 전달하는지가 중요해졌습니다. AI가 내 제품의 설명서를 쉽게 읽고 사용자에게 추천하게 만들려면, AI의 바구니 크기에 딱 맞는 다이어트가 필요합니다.

AI를 위한 맞춤형 안내서 AEO 만들기

그래서 등장한 것이 AEO(AI 에이전트가 읽기 좋게 문서를 최적화하는 방법)입니다. 쉽게 말해 AI 로봇 전용 안내서를 만드는 것입니다. 우선 robots.txt(로봇이 들어와도 되는지 알려주는 문지기 파일)를 통해 AI가 마음껏 들어올 수 있게 문을 열어줘야 합니다.

그다음으로는 llms.txt(AI가 읽기 좋게 정리한 사이트 지도)라는 파일을 만들어 둡니다. 로봇이 사이트 전체를 헤매지 않고 필요한 정보가 어디 있는지 바로 알 수 있게 돕는 지도 역할을 합니다. 또한 skill.md(이 도구가 무엇을 할 수 있는지 적어둔 능력치 표)를 만들어 AI가 긴 설명을 읽기 전에 이 도구의 기능을 바로 파악하게 합니다.

마지막으로 HTML(웹페이지의 뼈대를 만드는 복잡한 코드) 대신 Markdown(글자 위주로 간단하게 쓰는 기록 방식) 형식을 제공해야 합니다. 화려한 디자인이나 광고 같은 잡동사니를 다 걷어내고 알맹이 텍스트만 주는 것입니다. 이렇게 하면 AI가 사용하는 토큰 양을 획기적으로 줄일 수 있습니다. AGENTS.md(AI 로봇을 위한 첫인사 파일)라는 파일을 프로젝트 맨 앞에 두는 것도 좋은 방법입니다. 로봇이 프로젝트에 들어오자마자 무엇을 먼저 읽어야 할지 알려주는 환영 인사와 같기 때문입니다.

이제 좋은 문서란 사람뿐만 아니라 AI 로봇도 읽기 편한 문서입니다. 로봇이 이해하기 쉽게 정리된 글은 결국 사람에게도 더 명확하고 읽기 좋은 글이 됩니다.