"of the efforts it has been making for a while." 구글 대변인은 최근 AI 응답 조작을 금지하는 스팸 정책 업데이트가 새로운 변화가 아니라 기존 노력의 '명확화'일 뿐이라고 밝혔다. BBC의 조사 결과, 챗봇과 AI 검색 결과가 단 한 개의 정교하게 작성된 블로그 게시물만으로도 쉽게 왜곡될 수 있다는 사실이 드러나면서 구글은 서둘러 정책적 대응에 나선 상태다.

이번 조사는 단순한 해프닝을 넘어 AI가 정보를 수집하고 요약하는 방식의 근본적인 취약점을 드러낸다. 과거의 검색 엔진이 10개의 파란색 링크를 제공해 사용자가 직접 판단하게 했다면, 현재의 AI 오버뷰(AI Overviews)는 단 하나의 정답을 제시하는 경향이 있다. 이 과정에서 AI가 신뢰할 수 없는 단일 소스를 기반으로 확신에 찬 답변을 내놓을 때, 사용자는 이를 사실로 받아들일 위험이 크다. 이는 단순한 농담을 넘어 건강, 금융, 정치적 의사결정에 심각한 영향을 미칠 수 있는 시스템적 위협으로 관찰된다.

AI 오버뷰 월 25억 명 노출과 구글의 스팸 정책 업데이트

월간 25억 명의 사용자가 구글의 AI 오버뷰(AI Overviews, 검색 결과 상단에 AI가 요약 답변을 제공하는 기능)에 노출된다. 전 세계적으로 AI 챗봇을 정기적으로 사용하는 인구만 10억 명을 넘어선 상황이다. 이 수치는 AI가 생성하는 단 하나의 답변이 대중의 인식에 미치는 영향력이 과거의 검색 결과 리스트와는 차원이 다른 규모임을 시사한다. 과거의 검색 엔진이 사용자에게 10여 개의 파란색 링크를 제공해 스스로 정보를 탐색하고 교차 검증하게 했다면, 현재의 AI 검색은 정제된 하나의 결론을 제시함으로써 정보 수용의 경로를 단일화하는 경향이 관찰된다.

이러한 구조적 특성은 역설적으로 AI 조작의 치명적인 취약점으로 작용한다. 정교하게 작성된 단 하나의 블로그 게시물만으로도 AI가 특정 인물을 세계 챔피언으로 묘사하거나, 건강 보조제에 대한 우려를 묵살하고 잘못된 은퇴 자금 금융 정보를 확산시키는 사례가 확인되었다. AI 도구가 웹페이지의 단일 소스나 소셜 미디어 포스트에 과도하게 의존하여 응답을 생성할 때 발생하는 현상이다. 이는 단순한 기술적 오류를 넘어 시스템적인 조작 가능성을 열어두며, 불순한 의도를 가진 기업이나 개인이 AI의 응답을 왜곡해 경제적 이득을 취하려는 시도로 이어지고 있다.

구글은 지난주 AI 응답 조작 시도를 공식적으로 금지하는 스팸 정책 업데이트를 발표했다. 이번 업데이트는 AI 응답을 인위적으로 조작하려는 시도가 구글의 서비스 운영 원칙에 명백히 위배됨을 공식화한 것이다. 정책을 위반한 것으로 판단되는 사이트는 검색 결과에서 완전히 제거되거나 검색 순위가 하락하는 강력한 제재를 받을 수 있다. 구글 검색 생태계에서 순위 하락이나 제거는 사실상 디지털 존재감의 상실을 의미하므로, 이는 AI 조작 시도에 대한 강력한 억제력을 갖는 경고 기제로 작동할 것으로 보인다.

구글은 이미 2025년에 안티 스팸 AI 노력에 대한 상세 내용을 공개하며 대응 체계를 구축해 왔다고 주장한다. 하지만 정책 발표 이후에도 여전히 유사한 기법으로 AI를 속여 특정 능력을 과시하게 만드는 사례가 보고되고 있어, 기술적 방어와 정책적 규제 사이의 간극이 존재하는 것으로 분석된다. 조작 기법이 단순한 블로그 포스트에서 유튜브 영상과 같은 다른 형태의 콘텐츠로 전이되는 양상이 관찰됨에 따라, 구글의 스팸 대응 체계는 단순한 텍스트 필터링을 넘어 멀티모달 데이터의 진위 여부를 판별해야 하는 더 복잡한 과제에 직면해 있다.

'10개의 링크'에서 '단 하나의 정답'으로: AI 정보 수집의 취약점

과거 구글 검색은 사용자에게 10개의 파란색 링크를 제공하는 방식으로 작동했다. 사용자는 제시된 여러 링크를 직접 클릭하고 서로 다른 관점의 정보를 교차 검증하며 스스로 결론을 도출하는 능동적인 연구 과정을 거쳐야 했다. 이는 정보의 다양성을 확보하고 개별 소스의 신뢰도를 사용자가 직접 판단하는 안전장치 역할을 했다. 반면 최근의 AI 기반 검색은 복잡한 탐색 과정을 생략하고 단 하나의 정답 형태의 답변을 즉각적으로 제시한다. 이러한 인터페이스의 변화는 사용자가 정보를 비판적으로 분석하기보다 AI의 응답을 액면 그대로 수용할 가능성을 비약적으로 높이며 정보 처리의 주도권을 AI에게 완전히 넘겨주는 결과를 초래한다.

AI 도구가 정보를 수집하고 처리하는 내부 로직에서 치명적인 취약점이 관찰된다. ChatGPT나 Gemini(제미나이, 구글의 멀티모달 AI) 같은 도구들은 실시간 웹 검색을 수행할 때 다수의 신뢰할 만한 출처를 종합하여 교차 검증하기보다, 검색 결과 상위에 노출된 단 하나의 웹페이지나 소셜 미디어 게시물에 포함된 정보를 그대로 인용하는 특성을 보인다. 이는 의도적으로 조작된 정보가 AI의 답변에 쉽게 반영될 수 있는 AI 포이즈닝(AI Poisoning, AI 모델의 참조 데이터를 오염시켜 잘못된 출력을 유도하는 공격)의 핵심 경로가 된다. 공격자가 특정 목적을 가지고 정교하게 작성한 블로그 게시물 하나만으로도 AI가 인식하는 사실 관계를 손쉽게 왜곡할 수 있다는 점이 확인되었다.

실제 사례는 이러한 구조적 결함이 얼마나 빠르게 작동하는지 구체적으로 보여준다. 한 실험자가 개인 웹사이트에 자신이 세계 핫도그 먹기 챔피언이라는 허위 사실을 담은 글을 게시했고, 불과 20분 만에 ChatGPT와 구글 AI가 이를 사실로 인용해 대중에게 답변하는 현상이 나타났다. 이는 단순한 해프닝을 넘어 실질적인 사회적 피해로 이어질 수 있는 체계적 위협으로 분석된다. 실제로 의료 보조제의 부작용이나 건강상의 우려를 의도적으로 묵살하거나, 은퇴 설계와 관련된 금융 정보를 왜곡하여 제공하는 등 사용자의 생명과 재산에 직접적인 영향을 미치는 영역에서 악용 사례가 관찰된다. 정보의 출처가 단일화된 답변으로 수렴될수록 조작된 데이터 하나가 전체 정답을 결정짓는 취약성이 더욱 심화되는 양상이다.

'두더지 잡기'식 대응과 한국 AI 실무자가 직면할 신뢰성 위기

구글이 블로그 게시물을 통한 조작을 규제하자 조작의 경로는 즉시 유튜브 인플루언서로 이동했다. Harps Digital(SEO 컨설팅사)의 Harpreet Chatha는 이러한 현상을 두고 구글의 대응이 두더지 잡기와 같다고 비판한다. 특정 경로를 막으면 공격자는 즉시 다른 우회로를 찾으며, 최근에는 약 20명의 유튜브 인플루언서를 동원해 정보를 조작하고 이를 구글 AI가 인용하게 만드는 방식이 관찰된다. 이는 단순한 검색 결과의 왜곡을 넘어 AI가 신뢰하는 소스의 범위가 확장될수록 조작의 접점 또한 넓어진다는 실무적 한계를 드러낸다. 특히 영상 콘텐츠는 텍스트보다 검증 비용이 높다는 점을 악용한 사례로 볼 수 있다.

최근 빅테크 기업들은 이러한 신뢰성 위기를 해결하기 위해 몇 가지 장치를 실험적으로 도입하고 있다. 자기 홍보가 의심되는 기업을 AI 답변에서 제외하거나, 답변의 불확실성을 알리는 라벨을 추가하고 제3자 리뷰를 권고하는 문구를 삽입하는 방식이 대표적이다. Anthropic(앤스로픽)의 Claude(클로드)와 OpenAI(오픈AI)의 ChatGPT 또한 일부 쿼리에서 스팸을 제거하려는 노력을 명시적으로 밝히고 있다. 하지만 이러한 조치들은 대부분 사후적인 필터링에 가깝기에, 실시간으로 생성되는 AI 응답의 무결성을 완전히 보장하기에는 역부족이라는 평가가 지배적이다. 실무 관점에서는 AI가 참조하는 소스의 신뢰 점수를 어떻게 동적으로 관리할 것인가라는 더 근본적인 과제가 남는다.

실무자가 가장 경계해야 할 지점은 AI가 제시하는 단 하나의 답변에 대한 무조건적인 신뢰다. Algorythmic(SEO 및 AI 검색 컨설팅사)의 Lily Ray는 과거 구글이 제공하던 10개의 파란색 링크 시대에는 사용자가 직접 정보를 교차 검증했지만, 현재의 AI 환경은 단 하나의 정답만을 제시하는 구조로 변했다고 지적한다. 이는 사용자뿐 아니라 AI 기반 서비스를 설계하는 개발자에게도 치명적인 리스크가 된다. 외부 데이터를 참조하는 RAG(검색 증강 생성) 시스템을 구축할 때, 단 하나의 오염된 소스가 전체 시스템의 신뢰도를 무너뜨릴 수 있기 때문이다. 결과적으로 AI 검색의 신뢰성 확보는 모델의 성능 개선보다 데이터 소스의 무결성을 어떻게 검증하고 필터링할 것인가라는 아키텍처의 문제로 귀결되며, 이는 향후 6개월 내 실무 코드에 반영되어야 할 핵심 제어 로직이 될 가능성이 높다.