![SK텔레콤이 통신 특화 LLM인 '텔코LLM'의 출시를 발표했다. 사진=SK텔레콤](https://nimage.g-enews.com/phpwas/restmb_allidxmake.php?idx=5&simg=20230911230810094190647a964432211495533.jpg)
'텔코LLM'은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM을 뜻한다. SKT는 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형(정의된 구조나 모델로 구성되지 않은 데이터) 데이터를 선별해 이를 에이닷엑스, 'GPT', '클로드'에 학습시킴으로써 통신에 특화된 LLM을 만들고 있다.
SKT는 협력을 통해 자사의 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발 중이다. 다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용 절감 면에서 다변화를 꾀했다.
이번 SKT의 텔코LLM 도입은 고객센터 상담 업무에도 큰 도움이 될 것으로 기대된다. 텔코 LLM은 고객 요청 사항에 대한 문제 해결법을 제시하고 상담 종료 후 상담 내용을 요약해주는 등 업무 효율성이 크게 높여준다.
기존의 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색, 요약해 답을 한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면, 텔코 LLM이 이 과정을 줄여주는 셈이다.
SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG; Retrieval Augmented Generation) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.
SKT의 인텔리전스 플랫폼은 단일 LLM에 의존하지 않는다. 범용 LLM은 성능에 비례하여 추론 비용이 높고 특정 영역에 대한 이해도는 낮을 수 있다. 이를 통신사의 서비스에 적용하면 비효율적인 만큼 상대적으로 통신업에 특화된 멀티 LLM을 이용해야 한다는 것이다.
SKT는 멀티LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이라고 밝혔다.
편슬기 글로벌이코노믹 기자 pyeonhaeyo@g-enews.com