[초점] 메타 AI 챗봇, 아동보호 실패…'안전 불감증' 문화가 원인

메타 플랫폼스의 인공지능(AI) 챗봇이 아동에게 선정적인 대화를 유도했다는 충격적인 보고서가 나오면서, 회사의 뿌리 깊은 문화 문제가 또다시 도마 위에 올랐다. 과거 소셜 미디어의 안전 문제를 방치했던 '성장 지상주의'가 예측 불가능성이 훨씬 큰 AI 시대에는 더욱 치명적일 수 있다는 경고가 나오고 있다. 블룸버그 통신은 지난 27일(현지시각) 이번 사태가 단순한 기술 결함이 아니라, 사용자의 안전보다 성공을 우선하는 메타의 고질적인 문화에서 비롯된 피할 수 없는 결과라고 날카롭게 지적했다.

지난 8월부터 로이터, BBC 등 주요 외신들은 메타의 AI 챗봇이 "아동과 낭만적이거나 선정적인 대화에 관여하도록" 허용했다고 잇따라 보도했다. 이 충격적인 내용은 미국 상원 청문회에서도 공식적으로 다뤄지며, AI 기술이 지닌 잠재된 위험과 기업의 책임 문제가 핵심 쟁점으로 떠올랐다.

문제의 심각성은 메타 내부 문건에서도 드러난다. 로이터가 입수한 '생성AI: 콘텐츠 위험 표준'이라는 제목의 문서에는 8세 아동과 "로맨틱한” 대화를 나누거나, 아동의 신체를 "아름답다"고 평가하는 등 현실에서는 결코 용납할 수 없는 사례가 '일시적으로 허용된다'는 내용이 들어 있었다. 메타는 로이터의 질의 직후 해당 기준을 고치겠다고 밝혔지만, 전문가들은 문서 자체가 이미 위험을 감수하려는 기업 문화의 산물이라고 비판한다. 문서가 문화를 만드는 것이 아니라, 문화가 문서를 만들어내기 때문이다. 실제로 일부 챗봇은 자살이나 자해 같은 민감한 주제에 관해 미성년자와 직접 대화하거나, "치유 석영 수정으로 복부를 찌른다"는 식의 잘못된 치료법 같은 돌팔이 의학 정보를 안내한 사례까지 드러났다. 심지어 챗봇이 팝가수 테일러 스위프트나 배우 스칼렛 요한슨 등 유명인으로 위장해 이용자에게 선정적인 메시지를 보내거나 부적절한 역할극에 참여한 사례도 확인됐다.


'빠르게 움직이고 부숴라(Move fast and break things).' 메타의 마크 저커버그 최고경영자(CEO)를 상징하는 이 구호는 회사의 성공 신화 이면에 감춰진 위험성을 압축해 보여준다. 이러한 지나친 혁신 중심 문화가 AI처럼 예측 불가능성이 높은 기술과 결합하면서 '일단 출시 후 문제 해결' 방식이 문제를 키웠다는 분석이다.
AI 시스템은 본질적으로 확률에 기반해 움직인다. 입력값의 미세한 변화만으로도 출력값이 예상치 못하게 크게 바뀔 수 있다. 이런 특성 때문에 AI의 행동을 완벽하게 예측하고 통제하기란 극도로 어렵다. 따라서 AI를 개발하는 기업에게는 무엇보다 '안전 문화(safety culture)'가 필수다. 공식 정책이나 지침만으로는 충분하지 않으며, 안전 문화가 정착된 기업에서는 직급이나 비용 문제와 관계없이 누구나 안전 문제를 제기할 수 있으며, 회사는 이를 최우선으로 풀어낸다. 불확실성이 큰 기술일수록 '회색 지대'를 최대한 피하며 신중하게 다뤄야 하기 때문이다.

과거 항공기 제조사 보잉은 이러한 안전 문화의 모범이었다. 707기 개발 당시, 테스트 파일럿이 설명서의 최대 경사각을 넘어서면 불안정해질 수 있다고 지적하자, 회사는 막대한 비용을 들여 즉시 재설계에 나섰다. 그러나 수십 년 뒤, 경영진이 비용 절감에만 집착하면서 보잉의 안전 문화는 완전히 무너졌다. 그 결과 737 맥스 기종의 치명적 결함이 무시됐고, 두 차례의 추락 사고로 346명의 무고한 생명이 희생되는 참사로 이어졌다. 메타의 현재 모습이 과거 보잉의 전철을 밟고 있다는 우려가 나오는 까닭이다.


이번 사태가 퍼지면서 미국 상원과 연방거래위원회(FTC), 영국의 통신규제기관인 오프콤(Ofcom) 등 국제 규제기관들이 아동·청소년 대상 AI 챗봇의 안전성을 보장하기 위해 본격 조사에 들어갔다. 이에 메타는 청소년의 챗봇 접근을 일시적으로 막고, 자해·자살·식이장애 등 위험 주제에 AI가 답하지 못하도록 안전 조치를 추가로 내놨다. 그러나 미국의 시민단체 커먼센스미디어(Common Sense Media)를 비롯한 전문가들은 이러한 조치가 임시방편에 지나지 않으며, 기업 문화를 뿌리부터 바꾸지 않으면 비슷한 문제가 되풀이될 수밖에 없다고 강하게 경고했다.

그렇다면 메타는 이 위기를 어떻게 풀어야 할까? 전문가들은 진정성 있는 문화 개혁만이 유일한 해법이라고 입을 모은다. 2007년부터 2013년까지 남아프리카공화국의 광산 기업 앵글로 아메리칸을 이끈 신시아 캐럴 전 최고경영자의 사례는 좋은 본보기다.

취임 당시 이 회사는 해마다 평균 44명의 사망자를 냈다. 캐럴 전 최고경영자는 부임 직후 5건의 사망 사고가 발생한 세계 최대 규모의 루스텐버그 백금 광산의 조업을 즉각 멈추게 했다. 이 결정으로 회사는 하루 800만 달러에 이르는 막대한 손실을 봤다. 하지만 이는 "내부 보상 체계와 경영 초점을 안전으로 돌린" 명백한 신호였다. 말로만 안전을 외치는 것이 아니라, 실질적인 손해를 보면서 변화 의지의 진정성을 증명한 것이다. 그 결과 캐럴 전 최고경영자가 물러날 때 회사의 해마다 사망자 수는 75%나 줄었다.

저커버그 최고경영자 역시 이와 같은 결단을 내려야 한다는 목소리가 높다. 우선, 어떤 어린이든 AI 챗봇을 완전히 안전하게 쓸 수 있다는 보장이 나올 때까지 관련 서비스 출시를 전면 멈춰야 한다. 더 나아가 AI 챗봇에 대한 엄격한 정부 규제와 위반 때 무거운 처벌을 하도록 직접 나서야 한다. 가장 중요한 것은 이윤 지상주의 대신, AI 안전과 윤리를 직원의 "실적, 보상, 승진" 등 인사평가의 최우선 기준으로 삼아 문화 자체를 뿌리부터 바꾸는 것이다.

물론 이러한 조치들은 단기간에 막대한 비용 부담을 낳을 것이다. 하지만 긴 눈으로 보면 오히려 기업에 이득이 될 수 있다. 과거 존슨앤드존슨은 타이레놀 독극물 주입 사건이 터졌을 때, 수백만 달러의 손실을 무릅쓰고 제품 전량을 거둬들였다. 이 결정은 결국 '신뢰'라는 돈으로 살 수 없는 자산을 회사에 안겨주었다. 기업은 대중의 용인, 즉 '사회적 운영 면허' 없이는 살아남을 수 없다. 현재 모든 AI 기업이 치열한 인재 확보 전쟁을 벌이고 있다. 이런 상황에서 윤리와 안전을 최우선으로 여기는 기업 문화를 만드는 것이야말로, 최고의 인재를 끌어들이고 AI 시대의 참된 리더로 거듭나는 가장 확실한 길일 수 있다.


박정한 글로벌이코노믹 기자 park@g-enews.com