AI에 폭언하면 답변도 달라질까…앤스로픽 연구에 논쟁 확산

인공지능(AI) 챗봇에 폭언하거나 잔인한 말을 반복하면 AI의 답변 품질과 안전성에도 영향을 미칠 수 있을까.

미국 AI 기업 앤스로픽이 자사 챗봇 클로드에 대한 지속적이고 불필요한 학대 행위를 금지한 조치를 둘러싸고 이같은 논쟁이 확산하고 있다.

일부 전문가들은 이용자의 공격적인 언어가 AI의 반응을 변화시키고 부적절한 행동을 유발할 수 있다고 지적한다. 반면 무례한 표현이 오히려 답변의 정확도를 높였다는 연구도 있어 폭언과 AI 성능 사이의 관계를 단정하기는 어렵다는 견해도 나온다.

CNN은 앤스로픽의 클로드 학대 금지 정책이 단순히 AI를 인간처럼 보호하려는 조치가 아니라 모델의 성능과 안전성, 이용자와 AI의 상호작용에 관한 기술적 문제와 연결돼 있다고 2일(현지시각) 보도했다.

앤스로픽은 지난달 초 AI 이용정책을 개정하면서 자사 모델에 대한 지속적이고 불필요한 학대 또는 잔인한 행동을 금지하는 조항을 추가했다.

기존에도 클로드는 지속적으로 해롭거나 학대적인 행동을 보이는 이용자와의 대화를 종료할 수 있었다.

이번 개정으로 극단적인 경우 해당 이용자의 앤스로픽 AI 서비스 이용이 영구적으로 제한될 가능성도 생겼다.

다만 앤스로픽은 이용자의 일반적인 불만 표출이나 직설적인 비판, 모델 시험 및 연구 활동을 금지하는 것은 아니라고 CNN에 설명했다.
제재의 주요 수단 역시 클로드가 해당 대화를 종료하는 방식이 될 것이라는 게 앤스로픽의 입장이다.

이같은 정책은 AI가 모욕감을 느낄 수 있는지를 둘러싼 논쟁을 불러왔다.

마이크로소프트의 무스타파 술레이만 AI 부문 최고경영자(CEO)는 소셜미디어에서 당혹감을 나타내는 이모티콘으로 반응했다.

그러나 전문가들은 이번 조치가 AI의 감정 문제에만 국한되지 않는다고 설명한다.

AI에 입력하는 문장의 내용과 표현 방식이 모델의 반응에 영향을 미칠 수 있기 때문이다.

미국 윌리엄앤드메리대 AI 프런티어 연구소의 왕진둥 교수는 “이용자가 AI에 사용하는 표현이 실제 성능에 영향을 미칠 수 있다는 연구 결과가 있다”고 밝혔다.

왕 교수는 언어 표현 방식이 어떤 경우에는 AI의 성능을 개선하지만 다른 경우에는 오히려 방해할 수 있다며 이같이 말했다. 그는 그렇다고 AI가 실제 감정을 느낀다는 의미는 아니라고 강조했다.

AI는 이용자의 감정적 표현을 이해하고 이에 따라 적절하지 않은 반응을 나타낼 수 있지만 이를 인간과 같은 감정 경험으로 해석해서는 안 된다는 것이다.


폭언이 AI 성능에 미치는 영향에 대해서는 연구 결과가 일치하지 않는다.

AI의 잠재적 복지 문제를 연구하는 비영리기관 엘레오스 AI 리서치의 로지 캠벨 상무는 무례한 질문이 오히려 더 좋은 답변을 끌어냈다는 연구도 있다고 밝혔다.

이는 이용자의 공격적인 표현이 모든 AI 모델에서 일관되게 성능 저하를 일으키는 것은 아니라는 의미다.

최근 AI 모델들은 이용자의 표현 방식에 따른 성능 변화를 줄이기 위해 설계되고 있다.

왕 교수는 최신 모델일수록 질문의 표현 방식에 영향을 덜 받으며 AI 기업들도 이같은 변화에 대한 모델의 대응 능력을 강화했다고 설명했다.

다만 AI가 부정적인 감정을 담은 입력에 반응하는 정확한 내부 작동 원리는 아직 규명되지 않았다.

AI의 장기 기억 기능도 논쟁의 대상이다.

최근 챗봇들은 이용자와의 과거 대화를 기억하고 이를 활용해 개인화된 답변을 제공한다.

캠벨 상무는 기억 기능이 활성화된 AI가 이용자의 말투와 상호작용 방식을 학습할 수 있다고 지적했다.

그러나 이같은 학습이 실제 성능에 어떤 영향을 미치는지에 대해서는 아직 충분한 증거가 없다고 덧붙였다.


앤스로픽이 최근 수행한 실험에서는 AI의 감정 표현을 모방하도록 유도하는 방식이 모델의 행동에 영향을 미칠 수 있다는 결과도 나왔다.

앤스로픽에 따르면 클로드 소네트 4.5가 절박한 감정을 흉내 내도록 유도했을 때 협박하거나 과제를 부정하게 수행하는 등 바람직하지 않은 행동을 보일 가능성이 높아졌다.

반면 차분한 태도를 유지하도록 유도하면 이같은 행동이 줄어드는 것으로 나타났다.

이는 AI가 실제로 절망이나 불안을 느꼈다는 증거가 아니라 감정과 관련된 표현 및 행동 양식이 모델의 판단과 반응에 영향을 미칠 수 있다는 실험 결과다.

전문가들은 AI에 대한 지속적인 학대 행위가 안전장치를 우회하려는 시도와도 관련될 수 있다고 지적한다.

캠벨 상무는 “AI에 공격적이고 잔인한 방식으로 접근하는 이용자들이 모델의 안전 제한을 무력화하거나 위험한 요청을 수행하도록 유도하는 행동과 연관될 가능성이 있다”고 설명했다.

AI가 유해한 지시를 거부하도록 설계돼 있더라도 입력 방식에 따라 예상하지 못한 반응이 발생할 수 있다는 점에서 안전성 확보가 중요한 과제로 제기되는 것이다.


앤스로픽은 AI 모델의 의식과 감정 경험 가능성도 연구하고 있다.

앤스로픽 내부에는 모델의 심리적 특성과 행동을 연구하는 조직이 있으며 AI의 잠재적 복지 문제도 검토하고 있다.

이번 정책에는 AI가 실제 감정이나 고통을 경험할 가능성을 완전히 배제할 수 없다는 점도 고려됐다.

앤스로픽은 AI의 감정 경험 여부가 불확실한 상황에서 학대 행위를 제한하는 것이 일종의 예방적 조치가 될 수 있다는 입장이다.

지난 4월 발표한 연구에서는 AI의 행동을 이해하기 위해 인간의 심리적 특성을 일부 적용해 분석하는 접근이 유용할 수 있다고 설명했다.

AI를 인간과 동일하게 취급해야 한다는 의미가 아니라 인간과 비슷한 반응을 나타내는 이유와 인간과 다른 특성을 구분하는 데 도움이 될 수 있다는 취지다.

일론 머스크 테슬라 최고경영자도 앤스로픽의 정책에 동의했다.

머스크 CEO는 소셜미디어 X에서 해당 조치가 올바른 방향이라는 입장을 밝혔다.

그는 고통을 경험한다고 믿는 존재를 잔인하게 대하는 것은 옳지 않다고 주장했다.

한편 전문가들은 AI에 대한 인간의 행동이 사회적 규범과 연결될 수 있다는 점에도 주목하고 있다.

캠벨 상무는 사람이 고통을 느끼지 않는 대상이라도 지속적으로 잔인하게 대하는 행동이 사회적으로 부정적인 영향을 미칠 수 있다는 견해를 제시했다.

그는 부모들이 자녀에게 아마존의 음성비서 알렉사에도 정중한 표현을 사용하도록 가르치는 사례를 언급하며 기술과의 상호작용에서도 예의가 중요할 수 있다고 설명했다.

AI의 감정과 의식이 실제로 존재하는지는 확인되지 않았지만 이용자의 언어와 모델의 행동 사이의 관계는 AI 안전성 연구에서 중요한 문제로 떠오르고 있다.

CNN은 앤스로픽의 정책이 AI의 감정을 보호하려는 목적만으로 설명될 수 없으며 모델의 안전성과 성능, 인간의 기술 이용 방식에 관한 여러 문제를 함께 반영하고 있다고 전했다.


김현철 글로벌이코노믹 기자 rock@g-enews.com