"반도체에 이어 데이터마저 막힌다"… 中, ‘중국어 데이터 부족’ 병목 현상 직면

미국의 첨단 반도체 및 인공지능(AI) 칩 수출 제재로 어려움을 겪어온 중국 AI 업계가 이번에는 차세대 AI 모델 구축의 근간이 되는 ‘고품질 중국어 훈련 데이터의 심각한 고갈’이라는 실존적 위기에 직면했다.

8월 9일(현지시각) 홍콩 사우스차이나모닝포스트(SCMP) 보도에 따르면, 중국 AI 전문가와 연구진은 고품질 학습 데이터의 부족이 하드웨어 수급난을 뛰어넘는 중국 기술 야망의 새로운 핵심 병목 현상(Bottleneck)이 될 것이라고 강력히 경고하고 나섰다.


글로벌 연구기관 에포크 AI(Epoch AI)는 인류가 생성한 고품질의 공개 텍스트 데이터 공급이 향후 6년 내에 완전히 고갈될 것으로 전망했다. OpenAI 공동 창립자인 안드레이 카르파티 역시 이번 10년 말까지 AI 모델의 성장이 정체되는 ‘데이터 장벽(Data Wall)’이 도래할 것이라고 경고한 바 있다.
미국 빅테크 기업들은 오프라인 도서를 디지털화하기 위해 수천만 달러를 투입하며 종이책을 스캔하는 등 공격적인 행보를 이어가고 있다. 앤트로픽(Anthropic)이 수백만 권의 종이책 제본을 잘라 스캔한 '프로젝트 파나마' 사례는 데이터 확보 경쟁이 얼마나 치열해졌는지를 보여준다.

그러나 중국에 도달한 데이터 장벽은 언어적 구조 때문에 더욱 치명적이다. 웹 분석업체 W3Techs에 따르면, 전 세계 웹 텍스트 데이터 중 영어 비중은 절반(48.8%)에 육박하는 반면, 중국어 비중은 스페인어(6%), 독일어(5.9%), 일본어(5%)에도 훨씬 못 미치는 단 1.3%에 불과하다. 고품질의 중국어 독자 AI 모델을 훈련시킬 데이터 절대량이 터무니없이 부족한 셈이다.


이에 대응해 중국 당국은 데이터를 국가 핵심 전략 자산으로 지정하고 국가 차원의 통제 및 육성책을 마련했다. 중국 국가데이터관리국은 지난 6월 제조, 금융, 의료, 자율주행, 저고도 항공 등 핵심 산업을 아우르는 고품질 AI 데이터 공급 및 상업화 계획을 발표하고 2028년까지 검증된 데이터 생태계를 완비하겠다고 선언했다.

중국정보통신기술연구원(CAICT)의 위샤오후이 회장은 "AI 시대의 글로벌 패권 경쟁은 단순히 모델 성능이나 컴퓨팅 파워뿐만 아니라 고품질 데이터를 가공하고 공급하는 시스템을 누가 갖췄느냐에 달렸다"고 강조했다.

칭화대학교 컴퓨터과학자 쑨마오송 교수 등 전문가들은 단순히 웹 스크래핑에 의존하는 방식에서 벗어나, 국가 차원의 오프라인 문헌, 고대 원고, 지역 지리서, 역사 기록, 방언, 시청각 자료까지 체계적으로 스캔 및 디지털화하여 중국어 말뭉치(Corpus)를 대대적으로 확충해야 한다고 당국에 촉구하고 있다.

그러나 오프라인 유산을 디지털화하여 AI 학습에 투입하려는 시도는 저작권자와 출판사들의 강력한 반대에 부딪히고 있다.

최근 중국 화샤 출판사가 출간한 도교 문헌 번역본의 저작권 페이지에는 "이 책의 내용을 인공지능(AI) 훈련에 사용하는 것을 금지하며 위반 시 법적 책임을 지게 된다"는 경고문이 인쇄되는 등 현지 저작권자들의 방어권 행사가 가시화되고 있다.

전문가들은 저작권 분쟁과 텍스트 유실을 피하기 위해 향후 합성 데이터(Synthetic Data) 생성 및 시뮬레이션 기술이 데이터 부족을 완화할 대안으로 부상할 것으로 보고 있다.

중국어 AI 학습 데이터의 고갈과 국가 차원의 말뭉치 구축 총력전은, 향후 ‘중국산 대형언어모델(LLM)의 글로벌 경쟁력 제고’와 더불어 ‘AI 시대를 둘러싼 언어 데이터 자산의 국유화 및 저작권 규제 재편’을 자극할 핵심 거시 기술 변수로 작용할 전망이다.


신경원 글로벌이코노믹 기자 shincm@g-enews.com