챗봇 공유의 역설… 대화 섞이자 의사결정 왜곡, 기업 보안 뚫린다

송장 검증 AI 도입으로 수천억 원의 비용을 아낀 구글, 법무 검토 자동화에 성공한 오픈AI 등 글로벌 빅테크 기업들이 내부 업무에 인공지능(AI)을 직접 투입해 검증하는 이른바 ‘독푸딩(Dogfooding)’ 실험에 속도를 내고 있다.

하지만 이들처럼 AI를 ‘조직의 시스템’으로 통제하지 않고 직원 개인이 쓰는 ‘비용 절감용 도구’로 방치하면 기업 보안과 경영 의사결정이 동시에 무너질 수 있다는 경고가 나왔다.

월스트리트저널(WSJ)은 지난달 30일(현지시각) 보도를 통해 유료 AI 챗봇의 구독 비용을 아끼려고 계정을 공유하는 행위가 기업 경영의 새로운 리스크로 부상했다고 지적했다. 단순히 개인 정보가 노출되는 차원을 넘어, 단일 계정 안에서 서로 다른 업무 맥락이 얽히며 AI 응답 품질 자체를 왜곡하는 부작용이 확인됐기 때문이다.

생성형 AI 환경에서 발생하는 가장 큰 문제는 ‘데이터 맥락 오염’이다. 학계와 산업계에서는 이를 ‘컨텍스트 혼입(Context Mixing)’ 현상으로 부른다. AI 모델 자체가 영구적으로 변형되는 것은 아니지만, 하나의 계정 안에서 여러 사람의 대화 히스토리가 누적되면서 이전 문맥을 잘못 인지해 엉뚱한 답변을 내놓는 현상이다.

실제 WSJ가 소개한 사례를 보면 부작용이 뚜렷하다. 간호학 전공 학생이 교육학 전공 룸메이트와 계정을 공유하자, AI가 간호학 시험 문제를 만들 때 교육학 용어를 섞어 출력하는 식이다. 이러한 현상이 기업 환경으로 옮겨가면 치명적인 결과를 낳는다.

재무팀이 ‘보수적 기준’을 설정해 자금 분석을 진행한 직후, 마케팅팀이 동일한 대화창에서 캠페인 투자 효과를 물으면 AI는 앞선 재무팀의 보수적 가정을 그대로 끌어와 마케팅 효과를 과소평가하는 보고서를 작성할 수 있다. 겉으로는 논리적이어도 전제 조건이 뒤틀린 결과물이 경영진에게 보고되는 셈이다.

더욱이 계정 공유는 기업 보안의 기본인 역할 기반 접근통제를 무력화한다. 누가 어떤 데이터로 결론을 도출했는지 추적하는 감사가 불가능해져 책임 소재가 흐려진다. 여기에 업무 자동화 흐름까지 결합하면 잘못된 데이터가 전사 워크플로로 빠르게 확산되는 역설이 발생한다. 오픈AI가 “공동 작업이 필요하다면 별도 계정을 만든 뒤 최대 20명까지 협업할 수 있는 그룹 챗 기능을 쓰라”며 계정 공유를 엄격히 제한하는 이유다.


리스크를 통제하기 위해 구글과 오픈AI는 AI를 전사 시스템으로 편입하는 실험을 진행 중이다. 구글 재무팀은 AI 에이전트에게 송장 검증 업무를 맡겨 계약서와 송장의 차이점을 찾아내도록 했다. 구글은 이 시스템을 통해 잘못 지급되는 송장을 걸러내며 해마다 2억 달러(약 3062억 원)를 아낄 것으로 추산했다.
오픈AI 법무팀도 코덱스 에이전트를 활용해 신입 사원의 정보 공개 서류를 분석하고 답장 초안을 만드는 업무를 자동화했다. 두 회사 모두 AI 도입이 고용 감소로 직결되지는 않았으며, 기존 인력으로 생산성을 높이거나 검수 관리를 위한 하급 직원을 여전히 채용하고 있다고 밝혔다.

다만 기술이 고도화되면서 새로운 조직 내 마찰도 관측된다. 구글의 경우 재무 AI가 송장 오류를 너무 빨리 잡아내는 바람에, 이를 협력업체와 조율해야 하는 운영팀 업무에 심각한 과부하가 걸렸다. 구글은 이 병목을 해결하고자 협력업체와 소통을 시작하는 또 다른 AI 에이전트를 추가로 구축 중이다. 특정 부서의 효율화가 조직 전체의 병목을 유발할 수 있다는 의미다.

특히 보안 규제가 엄격하고 부서 간 장벽이 높은 한국 기업의 문화를 고려하면 이러한 병목 현상은 더 크게 나타날 수 있다. 영업팀이 AI로 계약서를 빠르게 검토하더라도 법무팀이 규정 위반을 이유로 반발하면 조직 혼란만 가중된다. 개별 부서의 돌출 행동을 막고 전체 최적화를 달성하려면 초기 파일럿 단계부터 업무 흐름, 권한, 데이터 경계를 먼저 설계하는 아키텍처 구축이 필수적이다.


기업 경영진과 보안 책임자는 단순한 사용 금지 조치를 넘어 통제가 가능한 운영체계를 즉시 구축해야 한다. 이를 위한 거버넌스 설계는 세션 격리와 권한 통합에서 출발한다.

우선 기본 설정을 ‘새 작업은 새 스레드’로 강제하고 재무나 인사 같은 민감 업무는 대화 히스토리를 참조하지 않는 모드로 통제해야 컨텍스트 혼입을 막을 수 있다. 아울러 기업 통합 계정 체계(SSO)를 구축해 개별 가입을 차단하고, API 레이어에서 접근 권한을 관리하면서 내부 기밀 정보는 자동으로 마스킹하는 솔루션을 적용해야 한다.

사후 검증과 투명성 확보를 위한 모니터링 체계도 필수 요소다. 모든 AI 서비스 이용 기록을 실시간으로 수집하는 감사 시스템을 의무화해, 직원이 입력한 프롬프트와 도출된 결론이 명확히 추적되도록 관리해야 법적 리스크에 대응할 수 있다.

직원의 산발적인 챗봇 의존을 줄이려면 전사 차원에서 승인된 프롬프트 템플릿을 표준화해야 한다. 산출물에 데이터 출처와 판단 근거를 구조적으로 명시하도록 강제하면 부서 간 속도 격차로 생기는 오해나 업무 병목 현상을 방지할 수 있다.

마지막으로 최종 통제권과 지속 가능성을 확보하는 전략이 요구된다. 재무와 법무 등 위험도가 높은 영역은 반드시 인간의 2단계 승인을 거치도록 하는 ‘인간 중심 통제(Human-in-the-Loop)’ 프로세스를 확립해야 한다.

AI 출력물은 언제나 초안으로만 정의하며 최종 책임은 인간에게 귀속하는 원칙이다. 더불어 AI의 정확도와 환각률, 비용 절감 효과를 지속 지표화하고 정기 보안 테스트를 수행해야 한다. 외부 거대언어모델(LLM)을 도입할 때는 데이터 비학습 옵션을 명확히 확인하고, 프록시 게이트웨이를 통해 여러 모델을 통합 통제하는 벤더 관리가 뒤따라야 한다.

AI 운영 전략을 수립하는 데 있어 지체할 시간이 없다. 초기 도입 단계에서 이 기준을 확립하지 못하면 무분별한 사용 관행과 오염된 데이터로 인해 사후 통제 비용이 기하급수적으로 증가한다. 철저한 보안 대책과 프로세스 재설계만이 안전하고 지속 가능한 AI 혁신을 보장한다.


김주원 글로벌이코노믹 기자 park@g-enews.com