BC카드, 182만건 금융 데이터로 AI 검색 정확도 높인다

BC카드가 금융 분야에 특화한 생성형 AI 검색 기술을 자체 개발하고 외부 공개에 나선다. 금융권에서 AI 상담, 사내 업무지원, 문서 검색 도입이 확대되는 가운데 금융 용어와 문맥을 반영한 검색 정확도 개선이 핵심 과제로 떠오르고 있어서다.

2일 BC카드에 따르면 회사는 금융 특화 생성형 AI 서비스의 검색 정확도를 높이기 위한 자체 임베딩 모델을 개발했다. 임베딩 모델은 사용자의 질문과 문서 내용을 AI가 처리할 수 있는 숫자 형태로 변환해 의미가 가까운 정보를 찾아내는 기술이다. 생성형 AI가 답변을 만들기 전 관련 문서를 얼마나 정확히 찾느냐가 서비스 품질을 좌우하는 만큼, 문서 검색 단계에서 활용도가 높다.

예컨대 사용자가 해외결제 수수료를 물었을 때 문서에 ‘해외 결제 수수료’라는 표현이 그대로 없더라도, ‘해외 이용 수수료’나 ‘국제 브랜드 수수료’처럼 의미가 유사한 자료를 찾아낼 수 있어야 한다. BC카드는 기존 범용 임베딩 모델이 가맹점, 카드 결제 등 국내 금융권 전문 용어와 문맥을 충분히 반영하지 못한다는 점에 주목해 자체 모델을 개발했다.

이번 모델 개발에는 BC카드가 오픈소스 플랫폼에 공개했던 182만건 규모의 데이터셋이 활용됐다. 모델은 서비스 목적에 따라 경량형과 고품질형 두 가지로 나뉜다. 경량형 모델은 약 6억개 파라미터 규모로 일반 CPU 환경에서도 활용할 수 있다. BC카드는 해당 모델이 지난 6월 27일 기준 글로벌 벤치마크 SOTA 평가 항목에서 타 모델 대비 최대 15% 개선된 성능을 기록했다고 설명했다.
고품질형 모델은 약 40억개 파라미터 규모로 GPU 환경에서 활용된다. 경량형보다 성능이 약 10% 높아 정밀한 검색이 필요한 업무에 적용할 수 있다는 설명이다. 빠른 응답이 필요한 서비스에는 경량형을, 높은 검색 정확도가 필요한 업무에는 고품질형을 적용하는 방식이다.

BC카드는 이번 개발을 통해 금융 데이터를 외부 AI 서비스에 제공하지 않고도 자체 AI 검색 서비스를 운영할 수 있는 기반을 마련했다고 보고 있다. 해당 모델은 글로벌 오픈소스 플랫폼 허깅페이스를 통해 공개할 예정이다. 향후 KT 그룹사 AI 서비스 적용을 시작으로 정부와 금융기관 대상 금융 AI 검색 플랫폼 사업도 확대한다는 계획이다.


홍석경 글로벌이코노믹 기자 hong@g-enews.com