허위 판례·챗봇 오답까지 확산…AI發 법적 책임, 보험 손해율 ‘새 변수’

생성형 인공지능(AI)이 허위 정보나 잘못된 판단을 내리면서 이를 활용한 기업과 전문가가 고객이나 이용자와 법적 분쟁에 휘말리는 사례가 늘고 있다. 이에 따라 기업의 배상책임을 보장하는 기존 보험상품의 손해율 악화 우려가 커지자, 보험사들은 AI 관련 손해를 보장에서 제외하는 면책특약을 도입하는 한편 AI보험을 새로운 성장동력으로 육성하는 등 대응에 나서고 있다.

17일 보험연구원 ‘AI의 환각과 보험산업’ 보고서에 따르면 생성형 AI가 허위 정보나 오류를 만들어내면서 기업과 전문가가 소송 등 법적 책임에 직면하는 사례가 실제로 나타나고 있다. 보고서는 생성형 AI 오류로 인한 실제 법적 분쟁 사례로 미국의 ‘Walmart Inc. v. Morgan & Morgan’ 사건을 제시했다. 이 사건은 월마트가 판매한 호버보드 결함으로 화재 피해가 발생했다는 손해배상 소송 과정에서 원고 측 변호사들이 제출한 법원 서면에 존재하지 않는 판례를 인용하면서 논란이 된 사례다.

해당 변호사들은 생성형 AI를 활용해 판례를 인용하는 과정에서 실제 존재하지 않는 판례를 검증 없이 제출했으며, 이를 확인한 미국 연방지방법원은 변호사들에게 벌금을 부과하는 등 제재 조치를 내렸다. 이 사건은 생성형 AI가 만들어낸 허위 정보가 실제 소송 과정에 사용되면서 법적 책임 문제로 이어진 대표적인 사례로 평가된다.

항공사 에어캐나다의 고객 서비스 챗봇이 환불 가능 여부를 잘못 안내해 논란이 된 ‘Moffatt v. Air Canada’ 사건도 실제 사례로 주목된다. 캐나다 브리티시컬럼비아주 민사 해결 재판소는 챗봇이 제공한 부정확한 안내를 신뢰한 고객의 행동이 합리적이었다고 판단하고, 에어캐나다에 환불 차액과 이자를 포함해 약 650~812캐나다달러를 지급하라고 판결했다. 이 사건은 기업이 AI 챗봇을 통해 제공한 정보에 대해서도 법적 책임을 질 수 있음을 보여준 대표적인 사례로 평가된다.
이밖에도 의료와 콘텐츠 등 다양한 분야에서 AI 오류로 인한 법적 분쟁이 발생하고 있다. 보고서는 생성형 AI의 잘못된 판단이나 결과물이 인명 피해나 저작권 침해 등으로 이어질 경우 서비스 제공 기업과 사용자 모두 법적 책임에 노출될 수 있다며, AI 활용 확대가 기업의 새로운 배상책임 리스크로 부상하고 있다고 분석했다.

AI 오류로 인한 법적 책임 사례가 현실화되면서 보험사의 손해율에도 직접적인 영향을 미칠 수 있는 구조가 형성되고 있다. 특히 AI 결과물을 활용한 기업의 의사결정이나 서비스 제공 과정에서 오류가 발생할 경우, 전문직업인배상책임보험(E&O), 임원배상책임보험(D&O), 사이버보험, 영업배상책임보험 등 기업의 법적 책임을 보장하는 보험상품에서 보험금 지급 가능성이 높아질 수 있기 때문이다. AI가 생성한 정보에 대한 최종 책임이 기업과 사용자에게 귀속되는 구조가 확산되면서, 기존 보험상품의 손해율 변동성을 키우는 새로운 위험 요인으로 작용할 수 있다는 분석이다.

글로벌 보험사들은 AI 관련 위험을 기존 보험 보장 범위에서 분리하는 방식으로 대응에 나서고 있다. 미국 보험서비스국(ISO)은 생성형 AI 오류로 인한 손해를 보장에서 제외하는 면책특약(Generative AI Exclusion)을 개발했으며, AIG 등 주요 보험사들도 배상책임보험과 사이버보험 등에 해당 특약 도입을 추진하고 있다. 이는 AI 오류로 인한 예측하기 어려운 손해가 기존 보험 손해율을 악화시키는 것을 방지하고, AI 리스크를 별도의 위험군으로 관리하기 위한 조치로 해석된다.

보험사들은 AI 리스크를 새로운 보험시장으로 활용하기 위한 상품 개발도 병행하고 있다. 기존 배상책임보험에 AI 관련 보장을 추가하는 특약 형태뿐 아니라, AI 시스템 오류나 운영 리스크를 별도로 보장하는 독립형 AI보험 상품 개발도 추진되는 추세다. AI 활용 기업이 늘어나면서 관련 보험 수요가 증가할 것으로 예상되는 만큼, 리스크 관리와 신규 시장 확보를 동시에 추진하는 전략이다.

보고서를 작성한 권순일 보험연구원 연구위원은 “생성형 AI는 환각 등 구조적 한계로 인해 기존 보험에서 경험하지 못한 새로운 위험 유형을 만들어내고 있다”며 “보험사들은 면책특약 도입을 통해 기존 보험 손해율 상승 위험을 관리하는 동시에, AI 관련 위험을 보장하는 새로운 보험상품 개발과 위험 평가 체계 구축을 통해 변화하는 위험 환경에 대응해 나갈 필요가 있다”고 밝혔다.

홍석경 글로벌이코노믹 기자 hong@g-enews.com