금융권 AI 에이전트 보안 17개 항목으로 점검한다

금융권에서 활용이 확대되고 있는 인공지능(AI) 에이전트의 보안 취약점을 점검하기 위한 평가 기준이 마련됐다. 데이터와 모델에 대한 공격뿐 아니라 AI 에이전트가 외부 시스템과 도구를 활용하는 과정에서 발생할 수 있는 보안 위협까지 평가 대상에 포함됐다.

금융보안원(원장 박상원)은 국내외 AI 에이전트 관련 보안 위협과 대응 방안을 분석해 ‘금융분야 AI 에이전트 보안 평가 기준’을 마련했다고 7일 밝혔다.

AI 에이전트는 사용자가 부여한 목표를 달성하기 위해 스스로 작업 계획을 세우고 필요한 도구와 외부 시스템을 활용해 작업을 수행하는 AI 시스템이다. 기존 AI가 질문에 답하거나 콘텐츠를 생성하는 데 주로 활용됐다면 AI 에이전트는 외부 서비스와 연결해 실제 업무를 수행할 수 있다는 점에서 보안 관리 대상이 확대될 수 있다.

금융보안원은 이번 평가 기준을 AI 레드티밍에 활용할 예정이다. AI 레드티밍은 공격자 관점에서 실제 공격을 수행해 AI 시스템의 취약점을 찾아내고 보안 대응 수준을 점검하는 방식이다.
평가 기준은 ▲데이터오염 공격 대응 ▲모델오염 공격 대응 ▲데이터·모델 추출 공격 대응 ▲회피공격 대응 ▲AI 에이전트 보안 등 5개 분야, 17개 항목으로 구성됐다.

이 가운데 10개 항목은 AI 에이전트 도입으로 새롭게 발생할 수 있는 보안 위협에 대응하기 위한 내용이다. AI 에이전트가 외부 도구나 시스템과 연계해 작업을 수행하는 과정에서 발생할 수 있는 새로운 공격 가능성을 평가하기 위한 것이다.

금융보안원은 이번 평가 기준을 토대로 AI 에이전트의 보안 취약점을 점검하고 평가 결과를 향후 금융권 AI 보안 관리에 활용할 계획이다.

금융보안원은 이번에 확인한 AI 에이전트 보안 위협과 실제 공격 기법, 최종 평가 기준 등을 올해 발간하는 ‘AI 레드팀 리포트’를 통해 공개할 예정이다.

박상원 금융보안원장은 "이번 평가 기준 마련을 계기로 금융권 AI 에이전트의 위험을 실질적으로 검증하고 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 적극 지원해 나가겠다"고 말했다.

최한결 글로벌이코노믹 기자 gksruf0615@g-enews.com