KT, 토큰 사용량 최대 25% 줄이는 '토큰팩토리' 오는 30일 출시

KT가 국내외 인공지능(AI) 모델을 한곳에서 이용하고 업무에 적합한 모델을 추천받을 수 있는 'KT 토큰팩토리(이하 토큰팩토리)'를 오는 30일 출시한다. 모델 선택부터 사용량 확인, 비용 관리까지 통합해 기업의 AI 활용 효율을 높인다는 구상이다.

27일 KT는 종로구 광화문 West 빌딩에서 기자간담회를 열고 인공지능 전환(AX) 사업 본격화와 함께 토큰팩토리 출시 계획을 발표했다. 현재 AI 모델은 번역·요약·코딩·추론 등 분야 별로 강점이 다르고 성능과 비용에도 차이가 있다. 모든 업무를 하나의 모델로 처리하기보다 업무 목적과 요구 품질에 맞춰 적절한 모델을 선택하는 것이 중요해진 이유다. KT는 토큰팩토리를 통해 기업이 여러 AI 모델을 보다 효율적으로 활용할 수 있도록 지원할 방침이다.

토큰팩토리는 국내외 AI 모델을 통합 제공하는 서비스다. 가입부터 사용량 확인, 비용 관리, 결제까지 한 곳에서 처리할 수 있어 고객은 업무 목적과 비용, 보안 요구 사항에 맞는 모델을 선택할 수 있다. 각 모델을 개별적으로 탐색하거나 서로 다른 이용 환경을 관리할 필요 없이 모델 선택과 이용 현황 모니터링, 비용 관리까지 한 번에 수행할 수 있다는 게 KT의 설명이다.

이 서비스에는 KT가 자체 개발한 '오토 모델 라우터'가 적용됐다. 질문의 업무 유형과 난이도, 품질, 비용, 고객이 사전에 허용한 모델 범위 등을 종합적으로 고려해 적합한 AI 모델을 선택하는 기술이다. 업무 별 요구 사항에 맞는 모델을 활용하도록 해 비용 효율을 높이는 데 초점을 맞췄다.
또 KT는 프롬프트 압축 기술도 토큰팩토리에 적용했다. 한국어 특성을 고려한 정밀 압축과 불필요한 반복 표현 제거를 통해 입력 토큰 사용량을 최대 25% 줄이는 기술이다. 질문의 의미와 응답 품질은 유사하게 유지하면서 입력 토큰 수를 줄여 처리 효율을 높이고 비용 부담과 응답 시간도 낮출 수 있도록 했다.

실제 이용 과정에서는 질문을 입력하면 압축 작업을 거쳐 해당 업무에 적합한 AI 모델을 추천받는다. 이용자는 추천 결과를 확인한 뒤 원하는 모델을 선택해 답변을 받을 수 있다. 특정 모델에 문제가 있거나 사용을 원하지 않는 경우에는 해당 모델을 제외하고 다른 모델을 선택하는 것도 가능하다.

KT의 토큰팩토리는 해외 AI 서비스 의존에 따른 데이터 주권 우려를 줄이기 위해 국내 KT 데이터센터에서 AI 추론 서비스를 제공한다. KT는 국내에서 운영되는 소버린 AI 인프라를 기반으로 자체 모델과 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델 등 다양한 AI를 활용할 수 있는 환경을 구축했다.

다만 이 과정에서 보안을 위해 AI가 학습하는 것이 막혀있다. 이로 인해 업무를 할 때마다 프롬프트를 새롭게 입력해야 된다는 번거로움이 있다는 점도 제기됐다. 이에 대해 김준석 KT AI 에이전트 랩장은 "학습에 따른 업무에 문제가 발생할 수 있지만 기업의 개발자가 사용한 프롬프트를 AI가 학습하지 않기 때문에 다른 데 유출되지 않을 가능성이 높다"며 "기본적으로 제공되는 프롬프트만으로도 업무에는 큰 영향이 없을 것"이라고 말했다.

아울러 KT는 다양한 오픈웨이트 모델을 국내 인프라에서 안정적으로 이용할 수 있도록 지원하는 한편, 모델 평가체계와 자체 가드레일 기술을 통해 안전성도 강화했다. 고객이 입력하는 프롬프트에 개인정보나 민감정보, 유해 표현이 포함됐는지 점검하고 AI가 생성한 답변도 확인해 안전한 활용을 돕는다.
박상원 KT AX사업부문장은 "AI를 잘 만드는 경쟁에서 잘 사용하는 것으로 경쟁이 바뀌고 있다"며 "이 과정에서 실질적인 성과로 이어질 수 있도록 KT의 토큰팩토리가 지원하겠다"고 말했다.

한편 KT는 기업을 대상으로 먼저 토큰팩토리를 서비스하고 내년 3월부터 개발자 및 개인을 대상으로 서비스를 진행한다. 요금제는 아직 공개되지 않았다.


이재현 글로벌이코노믹 기자 kiscezyr@g-enews.com