클라우드플레어 "7월 이후 AI 봇 요청 4160억건 차단…구글이 가장 문제"

세계적인 콘텐츠 전송 네트워크(CDN) 서비스 업체인 클라우드플레어가 자사 고객 콘텐츠에 무단 접근하는 인공지능(AI) 크롤러 요청을 지난 7월 이후 4160억건 이상 차단했다고 밝혔다.

크롤러 요청이란 웹페이지 정보를 수집하려고 보내는 자동화된 접근 요청을 말하는 것으로 오픈AI, 구글, 메타, 앤스로픽 등 AI 기업들의 웹 수집 봇이 웹사이트에 보내는 자동 요청을 클라우드플레어가 저작권 보호나 수익모델 방어 차원에서 차단했다는 뜻이다.

AI 모델 학습을 위한 무분별한 데이터 수집이 이어지는 가운데 매튜 프린스 클라우드플레어 CEO는 특히 세계 최대 인터넷 업체 구글의 과도한 접근 권한을 문제 삼았다.

7일(이하 현지시각) IT매체 와이어드에 따르면 프린스 CEO는 지난 4일 이 매체가 마련한 행사에 참석한 자리에서 "AI는 인터넷의 근본 구조를 뒤흔드는 플랫폼 전환"이라며 "인터넷 생태계가 더 이상 예전 방식대로 운영될 수 없음을 인식해야 한다"며 이같이 전했다.
프린스 CEO에 따르면 클라우드플레어는 지난 7월 ‘콘텐츠 독립 선언’을 발표하고 AI 기업이 허가 없이 웹 콘텐츠를 수집하지 못하도록 기본 차단 조치를 취하기 시작했다. 프린스는 “7월 1일부터 12월 1일까지 약 5개월간 AI 봇 요청 4160억건을 차단했다”고 밝혔다.

프린스 CEO는 구글의 크롤링 정책을 강하게 비판했다. 구글이 AI 모델 학습을 위한 크롤러와 일반 검색 크롤러를 하나로 통합하면서 AI 크롤링을 막으려는 사이트는 동시에 검색 노출에서도 제외되는 구조가 됐다는 것.

그는 "AI 크롤러만 막으려 해도 구글 검색에서 제외되는 상황은 불공정하며 독점적 지위를 이용한 시장 지배 시도"라고 말했다. 프린스는 이어 "어제의 독점으로 내일의 시장까지 장악하려는 구글이야말로 현재 인터넷 진화를 가로막는 최대 걸림돌"이라고 지적했다.

클라우드플레어가 자체 분석한 자료에 따르면 구글은 현재 오픈AI보다 인터넷상의 페이지를 3.2배 더 많이 수집하고 있으며 마이크로소프트보다 4.6배, 앤트로픽 및 메타보다 4.8배 더 많은 페이지에 접근하고 있는 것으로 나타났다.

프린스 CEO는 "AI는 궁극적으로 창의적인 인간의 사고를 필요로 하며 이는 향후 창작자에게 실질적인 수익 모델을 열어줄 수 있다"고 전망했다. 특히 지역 언론이나 포럼 등에서 나오는 고유 콘텐츠는 AI 모델 학습에 있어 여전히 높은 가치를 지닌다고 그는 주장했다.
프린스는 “AI 기업과 창작자 간 유료 라이선스 계약 확대가 장기적으로 콘텐츠 생태계를 유지할 수 있는 방법이 될 것”이라면서 “규제 도입이 불가피할 수도 있기 때문에 그 전까지는 플랫폼 기업이 자율적으로 공정한 구조를 만들기 위한 압박을 받아야 한다”고 지적했다.

그는 “마치 마블 영화에서처럼 전작의 영웅이 후속작의 악당이 됐다”며 “지금 구글이 바로 그 역할”이라고 꼬집었다.


김현철 글로벌이코노믹 기자 rock@g-enews.com