일본 사이버에이전트, 일본어 특화 대규모 언어모델 공개…생성형 AI 개발에 탄력

일본 최대 온라인 광고 대행사 사이버 에이전트는 17일(현지시간) 생성형AI(인공지능)의 기반이 되는 독자적으로 개발한 대규모 언어모델을 무료로 공개한다.

닛케이(日本經濟新聞) 등 일본현지매체들에 따르면 사이버 에이전트는 이날 기존제품이 영어를 중심으로 학습하고 있는 것이 많았다면서 일본어로 특화한 대규모 언어모델를 공개한다고 밝혔다.

일본어 생성AI의 활용이 이루어진다면 일본제 생성AI의 개발에 탄력이 붙을 것으로 보인다.

대규모언어 모델의 학습량은 ‘파라메타수’라는 지료로 나타낼수 있으며 이 파라메타수가 높은 쪽이 풍성한 문장을 만들 수 있다.
사이버 에이전트는 이미 130억 파라메타의 대규모 언어모델을 개발하고 있다. 이날에는 최대 68억 파라메타의 모델을 AI모델의 프로그램 공유사이트 ‘허깅 페이스(Hugging Face)’상에 공개한다.

미국 오픈AI가 운영하는 챗GPT의 기반에 사용되는 대규모 언어모델 ‘챗3.5’는 영어와 프랑스어 등 다언어를 학습하고 있다.

파라메타수는 3550억과 사이버제품을 대폭 상회하지만 사이버 에이전트는 “일본어만이라면 학습량으로서는 충분히 많다”고 설명했다. 온라인 백과사전 ‘위키피디아’ 등에서 공개되고 있는 일본어 데이터를 학습시켰다.

기업과 연구기관은 사이버제품을 기반으로 대화형AI의 개발이 가능하게 된다. 요약과 메일 문서 작성과 같은 유형에 응용할 수 있을 뿐만 아니라 특정분야에 특화해 학습시킬 수도 있다.

사이버 에이전트는 광고의 자동생성과 효과예측 등에서 AI를 활용하고 있으며 연구∙개발분야를 두고 있다. 대규모 언어모델의 개발에서 지난해에 10억 엔 가까이 투입해 도입한 미국 엔비디아의 최첨단GPU(화상처리 반도체)를 활용한다. 기존의 GPU와 비교해 AI 학습속도를 비약적으로 높일 수 있게 됐다고 지적했다.

히다치(日立)제작소 등 일본기업들이 생성AI의 개발에 나서는 움직임이 이어지고 있다. 다만 GPT 등 해외기업의 기반을 활용하는 사례도 많다. 사이버 에이전트가 독자적인 대규모 언어모델을 개발한 것은 기술적인 의존도가 높으면 ‘돌연 이용료가 올릴 리스크가 있기’ 때문이라고 설명했다. 사이버 에이전트는 독자 대규모 언어모델을 활용해 효과가 높은 광고문구 생성을 추진하려고 한다.


박경희 글로벌이코노믹 기자 hjcho1017@g-enews.com