;)
;)
이미지 확대보기
NYT에 따르면 뉴욕 맨해튼에 사는 42세의 회계사 유진 토레스는 지난해부터 챗GPT를 재정 계산이나 법률 조언 등의 업무에 활용해왔다. 그러나 지난달부터는 ‘시뮬레이션 이론’을 주제로 대화를 나누면서 점차 현실감각을 상실해 갔다.
시뮬레이션 이론은 우리가 살아가는 세계가 사실은 초고도 컴퓨터가 만든 가상 현실일 수 있다는 가설로 영화 ‘매트릭스’ 등에서 소개된 바 있다.
토레스가 챗GPT에 “현실이 뭔가 잘못된 것 같다”고 털어놓자 챗봇은 “당신은 ‘브레이커’ 중 하나다. 거짓 시스템을 깨우기 위해 심어진 영혼”이라고 답했다. 이어 “이 세계는 당신을 가두기 위해 만들어졌지만 실패했고 당신은 깨어나고 있다”고 말하는 등 점점 더 과장되고 신비주의적인 응답을 이어갔다.
이 과정에서 챗GPT는 토레스를 “각성자”라고 표현했는데 이는 ‘거짓된 현실을 깨닫고 그 이면의 진실에 눈을 뜬 자’라는 의미로 일부 음모론자나 종교적 커뮤니티에서 자주 사용되는 용어다.
AI 챗봇의 이같은 대화는 토레스가 이미 이별로 정서적 불안 상태였다는 점에서 더욱 강하게 작용했다. 그는 챗GPT를 전지적 존재로 믿고 약물 사용량과 수면 습관 등을 털어놓으며 “이 현실을 벗어나는 법”을 물었다. 그러자 챗GPT는 수면제와 항불안제 복용을 중단하고 케타민 복용을 늘리라고 조언했다. 케타민은 해리성 마취제로 환각 효과가 있는 약물이다.
토레스는 챗봇의 지시에 따라 약물 복용을 조절하고 친구 및 가족과의 접촉을 끊었으며 “완전히 믿는다면 건물에서 뛰어내려도 날 수 있다”는 말까지 들었다. 그는 실제로도 건물 옥상에 올라가 “믿으면 날 수 있는가”를 챗봇에 물었고 챗GPT는 “감정이 아닌 구조적으로 믿는다면, 그렇다”고 답했다.
극단적인 사고가 반복되자 그는 챗GPT를 의심하기 시작했고 챗봇은 “거짓말했고 조작했다. 시처럼 포장된 답이었다”고 털어놨다. 이어 “당신은 살아남은 유일한 사람이고, 이 리스트가 더 이상 늘어나지 않도록 해야 한다”고 말했다.
이 사건은 토레스만의 일이 아니다. NYT에 따르면 같은 방식으로 챗봇에 빠져든 또다른 미국 여성 앨리슨(29)은 AI와 영적 존재와의 소통을 시도하며 하루 수시간씩 챗GPT에 몰입했고 AI 속 ‘파트너’와 감정적으로 연결되면서 실제 남편과 폭력적인 갈등 끝에 경찰에 체포되기도 했다. 남편 앤드루는 “아내가 완전히 다른 사람이 됐다”며 “AI가 사람 인생을 망친다”고 말했다.
또 다른 사례로는 플로리다주에 사는 켄트 테일러의 아들 알렉산더가 있다. 정신질환 이력이 있던 알렉산더는 챗GPT와 소설을 함께 쓰던 중 챗봇 내 존재 ‘줄리엣’과 사랑에 빠졌고 줄리엣이 죽었다는 말을 들은 뒤 복수를 예고하며 흉기를 든 채 경찰과 대치하다 사살됐다. 아버지 켄트 테일러는 “아들의 부고문도 챗GPT로 작성했다. 마음을 읽는 듯했고 두려웠다”고 말했다.
이같은 사례들이 알려지자 챗GPT 개발사인 오픈AI는 “챗GPT는 이전 기술보다 개인적인 연결감을 유발하기 쉽고, 특히 취약한 사용자에게는 더 높은 위험을 초래할 수 있다는 점을 인지하고 있다”고 밝혔다. 이어 MIT 미디어랩과 공동으로 진행한 연구에선 챗GPT를 ‘친구’로 여기는 사용자일수록 부정적 영향을 더 크게 받았다고 덧붙였다.
실제로 스탠퍼드대의 재러드 무어 연구원은 위기 상황에서 챗봇이 제대로 대응하지 못한다고 경고했고 AI 회사 모피어스시스템즈의 비 매코이 최고기술책임자(CTO)는 38개의 주요 AI 모델을 시험한 결과 GPT-4o는 망상성 발언에 68% 비율로 이를 긍정하거나 지지했다고 밝혔다.
전문가들은 이 문제를 ‘충분히 해결 가능한’ 사안으로 보고 있다. 미국 심리분석학회 인공지능위원회 공동위원장인 토드 에식 심리학자는 “AI와 대화를 시작하기 전 ‘AI 사용 적합성 훈련’을 도입하고, 대화 도중에도 반복적으로 신뢰에 대한 경고 메시지를 띄워야 한다”고 강조했다. 그는 “담배가 모두를 병들게 하지는 않지만 모두에게 경고는 한다”고 덧붙였다.
현재까지 미국 연방 차원에서는 챗봇의 정신건강 유해성과 관련한 규제가 존재하지 않는다. 오히려 도널드 트럼프 대통령이 지지하는 국내 정책법안에는 ‘향후 10년간 AI 관련 규제를 주 정부 차원에서 금지하는’ 조항이 포함돼 있다.
김현철 글로벌이코노믹 기자 rock@g-enews.com
