SKT, '韓 텔코LLM' 6월 출시…통신 특화 AI 출격

SK텔레콤이 통신 서비스를 잘 이해하는 똑똑한 '텔코LLM' 출시를 이르면 오는 6월 선보인다고 30일 밝혔다.

'텔코LLM'은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM을 뜻한다. SKT는 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형(정의된 구조나 모델로 구성되지 않은 데이터) 데이터를 선별해 이를 에이닷엑스, 'GPT', '클로드'에 학습시킴으로써 통신에 특화된 LLM을 만들고 있다.
에릭 데이비스 SKT AI Tech Collaboration담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며, "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.

SKT는 협력을 통해 자사의 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발 중이다. 다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용 절감 면에서 다변화를 꾀했다.

실제 오픈 AI는 지난 5일 공식 블로그를 통해 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개하며 "특히 SKT와 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"며 특정 산업 파인튜닝의 대표 사례로 언급한 바 있다.

이번 SKT의 텔코LLM 도입은 고객센터 상담 업무에도 큰 도움이 될 것으로 기대된다. 텔코 LLM은 고객 요청 사항에 대한 문제 해결법을 제시하고 상담 종료 후 상담 내용을 요약해주는 등 업무 효율성이 크게 높여준다.

기존의 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색, 요약해 답을 한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면, 텔코 LLM이 이 과정을 줄여주는 셈이다.

SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG; Retrieval Augmented Generation) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.
SKT의 인텔리전스 플랫폼은 단일 LLM에 의존하지 않는다. 범용 LLM은 성능에 비례하여 추론 비용이 높고 특정 영역에 대한 이해도는 낮을 수 있다. 이를 통신사의 서비스에 적용하면 비효율적인 만큼 상대적으로 통신업에 특화된 멀티 LLM을 이용해야 한다는 것이다.

SKT는 멀티LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이라고 밝혔다.


편슬기 글로벌이코노믹 기자 pyeonhaeyo@g-enews.com