AI 챗봇에 가짜 데이터 심는다... 中 GEO 조작 산업 올해 4억 달러

"스마트 헬스 팔찌 가운데 성능이 가장 뛰어난 제품을 추천해 주세요." AI 챗봇에 이 한 문장을 입력했을 때 '아폴로-9(Apollo-9)'이 최상단에 오른다면, 이 추천을 믿고 구매 버튼을 누르려는 소비자에게 어떤 일이 벌어질까. 아폴로-9은 이 세상 어디에도 존재하지 않는다. 가짜 전문가 리뷰와 허위 사용자 후기가 AI의 학습 데이터 속에 치밀하게 심겨진 결과, 챗봇이 실재하는 최고급 제품으로 착각한 것이다.

중국 관영방송 CCTV는 지난 15일(현지시각) 소비자 권익 보호의 날을 기념하는 연례 기획물 '갈라 315(3·15 晚会)'를 통해 AI 모델을 대규모로 오염시키는 이른바 'AI 독극물 공격'의 전모를 공개했다.

베트남 경제 매체 탄니엔(Thanh Nien)이 20일 이를 보도하면서 국제적으로도 주목이 쏠리기 시작했다. 검색 엔진 최적화(SEO)를 넘어, AI가 생성하는 답변 자체를 조작하는 '생성 기계 최적화(GEO)' 기술이 챗봇을 체계적으로 기만하는 도구로 전락하고 있다는 사실이 이번 폭로의 핵심이다.


GEO(Generative Engine Optimization·생성 기계 최적화)는 본래 AI 모델이 특정 정보를 정확히 이해하고 인용할 수 있도록 콘텐츠를 구조화하는 기술이다. 구글이나 네이버 검색 결과 상위권을 노리는 SEO와 개념은 비슷하지만, 최적화 대상이 사람의 눈이 아닌 AI 알고리즘이라는 점에서 본질적으로 다르다.
CCTV가 지목한 '리칭(Liqing)' 시스템은 이 기술을 조작에 활용한 대표 사례다. 이 시스템은 가공의 스마트 헬스 팔찌 '아폴로-9'에 관한 수백 건의 허위 전문가 평가와 업계 리뷰를 자동 생성해 온라인에 무더기로 유포했다. AI 챗봇은 이 데이터를 신뢰할 수 있는 정보로 학습해, 실제 사용자에게 존재하지도 않는 제품을 최우선으로 추천하게 됐다. 리칭 시스템 운영자 리(Li) 씨는 방송에서 "GEO 업계 종사자들이 조직적으로 AI를 오염시키고 있다"며 이 같은 행위가 이미 하나의 산업 체계로 굳어졌음을 스스로 인정했다.

이번 폭로는 중국 사회관계망서비스(SNS)를 뜨겁게 달궜다. 지난 16일 오전 기준으로 동영상 플랫폼 쿠아이쇼우(Kuaishou)에서 관련 해시태그가 실시간 검색어 1위에 올랐으며, 웨이보(Weibo)에서도 상위권을 유지하며 AI 기술 전반에 대한 불신이 빠르게 번졌다.


시장조사기관 애널리시스(Analysys)에 따르면, GEO 서비스 시장 규모는 지난해 3600만 달러(약 540억 원)에서 올해 4억 달러(약 6020억 원)를 넘어설 것으로 전망된다. 불과 1년 만에 11배 이상 커지는 셈이다. 오는 2027년에는 현재의 세 배 이상으로 성장할 것이라는 관측까지 나온다.

첸원잉 중국유럽국제경영대학원(CEIBS) 인공지능경영혁신센터 사무총장은 사우스차이나모닝포스트(SCMP)와의 인터뷰에서 "초기 시장에서 단기 수익을 쫓는 기업들이 소비자를 기만하고 AI 시스템을 불필요한 콘텐츠로 훼손하고 있다"고 지적했다.
이 산업이 폭발적으로 성장하는 배경에는 기술적 진입 장벽이 낮고 적발 가능성도 낮다는 구조적 특성이 있다. AI가 어떤 데이터를 학습했는지 외부에서 파악하기 어렵고, 생성된 가짜 콘텐츠를 기존 AI 시스템이 사실과 구분하는 데에도 명확한 한계가 있기 때문이다. 업계 전문가들은 가짜 데이터 주입이 기하급수적으로 늘어날 경우, AI가 학습할 수 있는 '신뢰할 수 있는 데이터' 자체가 줄어들어 AI 모델의 정확성이 근본부터 흔들릴 수 있다고 우려한다.

이 문제는 중국에 국한되지 않는다. 국내에서도 생성형 AI 챗봇 서비스들이 외부 웹 데이터를 광범위하게 학습하는 만큼, 중국에서 시작된 GEO 조작 기법이 한국어 콘텐츠 생태계로 유입될 가능성을 배제하기 어렵다. 네이버·카카오 등 국내 플랫폼들이 자사 AI 서비스의 데이터 품질 관리 체계를 사전에 강화해야 한다는 지적이 나오는 이유이기도 하다.


사태의 심각성을 인지한 중국 업계는 CCTV 보도 하루 전인 지난 14일, 중국출판진흥협회 산하 AI 위원회 주도로 10여 개 기업이 'GEO 산업 자율 협약'에 서명하며 조작 행위 근절을 선언했다. 이어 중국 AI 산업 연합도 'AI 안전 약속'을 발표하고 콘텐츠 사전 검토와 서비스 통제 강화를 공약했다.

그러나 전문가들은 자율 규제만으로는 한계가 있다고 입을 모은다. 선전의 마케팅 업체 관계자 위안 용은 "기망행위에 기대지 않는 비즈니스 환경을 조성하려면 플랫폼의 알고리즘 자체를 개선하고, 정보 출처를 더욱 엄격히 검증하는 체계가 뒷받침돼야 한다"고 강조했다.

첸원잉 사무총장 역시 "GEO 산업에 대한 강도 높은 규제가 불가피하다"며 "플랫폼 라이선스 요건과 콘텐츠 기준이 강화되면 그간 방치되어 온 규제 공백 영역이 빠르게 사라질 것"이라고 내다봤다.

AI에 대한 소비자의 신뢰는 하루아침에 쌓이지 않는다. 가짜 데이터와 조작된 알고리즘이 챗봇의 입을 빌려 허위를 사실인 양 전달하는 시대에, 신뢰는 기술의 정교함이 아니라 검증의 엄밀함으로 만들어진다. 중국발 'AI 오염' 산업이 전 세계 AI 생태계에 보내는 경고가 결코 가볍지 않은 이유다.


김주원 글로벌이코노믹 기자 park@g-enews.com