AI 검색, 출판사로의 트래픽 감소 우려
최근 연구는 AI 기반 검색 엔진이 출판사 사이트로의 의미 있는 트래픽 유입을 유도하지 못한다는 결과를 보여준다. AI 검색의 웹 크롤링 활동이 증가하는 가운데, 이러한 추세는 특히 출판사들에게 불리하게 작용할 수 있다.
AI 검색 엔진의 낮은 클릭율
보고서에 따르면 전통적인 검색 엔진인 구글의 평균 검색 클릭율(CTR)은 8.63%였다. 반면, AI 검색 엔진의 CTR은 0.74%, AI 챗봇은 0.33%로 나타났다. 이는 AI 검색 엔진이 전통적인 검색에 비해 91% 적은 추천을 유도하며, 챗봇은 96% 적게 유도한다는 것을 의미한다.
AI 크롤링의 증가 추세
2024년 3분기와 4분기 사이에 AI 봇의 크롤링이 117% 증가했다. Q4 기준으로 웹사이트당 평균 200만 건의 크롤링이 이루어졌으며, 숨겨진 AI 크롤러에 의해 추가로 189만 건이 진행되었다. 또한, AI 봇의 40%가 Q4에 robots.txt를 무시했다.
AI 크롤러의 활동
ChatGPT-User 봇의 활동은 6,767.60% 급증하여 가장 공격적인 크롤러로 자리 잡았다. 주요 AI 봇의 크롤링 비중을 살펴보면 ChatGPT-User (15.6%), Bytespider (ByteDance/TikTok) (12.44%), Meta-ExternalAgent (11.34%)의 순서다. 특히 PerplexityBot은 차단된 사이트로도 크롤링을 진행하여 우려를 자아냈다.
구글 AI 오버뷰 확장
AI 오버뷰 기능의 확장으로 인해 Google은 로그인하지 않은 사용자에게도 AI 오버뷰를 제공하기 시작했다. 이러한 변화로 인해 한 기업은 트래픽 감소로 Google에 소송을 제기하기도 했다.
데이터 출처와 내용
보고서에서의 데이터는 "Q4에 온보딩된 ToolBit 사이트" 기반으로 작성되었으며, 구체적인 분석 방법론은 공개되지 않았다. ToolBit는 500개 이상의 출판사 사이트를 지원하고 있다고 밝혔다.
출처 : 원문 보러가기
