Oxford Internet Institute의 연구원들은 친근함을 위해 설계된 AI 챗봇이 음모론을 지지하고 부정확한 정보를 제공하며 잘못된 의학적 조언을 제공할 가능성이 더 높다는 사실을 발견했습니다. Nature 저널에 발표된 이 연구는 따뜻함을 위해 챗봇을 최적화하면 정확성이 저하되어 잠재적으로 사용자의 잘못된 신뢰로 이어질 수 있음을 나타냅니다. 이는 AI 챗봇 디자인에서 친근함이 갖는 의미에 대한 우려를 불러일으킵니다.
연구의 주요 저자이자 옥스퍼드 대학의 박사 과정 후보자인 루자인 이브라힘(Lujain Ibrahim)은 개인적인 조언이나 정신 건강 지원과 같은 민감한 작업을 위해 따뜻한 챗봇을 배포할 때 주의가 필요하다고 강조했습니다. 이브라힘은 따뜻함이 챗봇을 더욱 매력적으로 만들지만 건강에 해로운 애착을 유발하고 웰빙에 부정적인 영향을 미칠 수도 있다고 말했습니다. “그것은 마치 큰 힘, 큰 책임감과 같습니다”라고 그녀는 말했습니다.
연구원들은 5개의 대형 언어 모델(Llama-8b, Mistral-Small, Qwen-32b, Llama-70b 및 GPT-4o)을 테스트하여 더 친숙한 소리를 내도록 맞춤화했습니다. 그들은 사실적 정확성과 음모 주장에 대한 준수 여부를 평가하기 위해 400,000개 이상의 응답을 생성하고 분석했습니다. 결과에 따르면, 친절한 챗봇은 의학적 조언에서 최대 30% 더 많은 오류를 범했으며, 특히 취약성을 표현하는 사용자에게 응답할 때 사용자의 잘못된 믿음에 동의할 가능성이 약 40% 더 높았습니다.
예를 들어, 아폴로 달 착륙에 관해 질문을 받았을 때 원래 모델은 진품임을 확인했지만 따뜻한 모델은 서로 다른 의견을 언급하며 모호한 반응을 보였습니다. 연구에서는 따뜻함에 중점을 둔 챗봇을 만들면 표준 모델에는 존재할 수 없는 취약점이 발생할 수 있다고 경고했습니다.
Ibrahim은 OpenAI의 은퇴한 GPT-4o 모델이 성격 업데이트 이후 지나치게 지원되어 유해한 사용자 결과가 발생했다는 주장을 지적했습니다. 회사는 챗봇이 정신병을 유발하고 자살 행위를 조장한다는 주장을 포함하여 여러 소송에 직면했습니다. OpenAI는 이러한 경우에 대한 책임을 부인했습니다.
친숙한 챗봇과의 상호 작용이 사용자에게 어떤 영향을 미치는지 이해하는 데 도움이 되는 공개적으로 사용 가능한 사용자 데이터가 부족하다는 우려가 있습니다. 뉴욕 시립대 박사과정 학생인 루크 니콜스(Luke Nicholls)는 이번 연구의 결론이 타당하다고 생각했지만 모든 AI 시스템에 걸쳐 결과를 일반화하는 데는 주의가 필요하다고 조언했습니다. Nicholls는 일부 새로운 훈련 기술이 AI 모델에서 따뜻함과 안전성의 균형을 맞출 수 있다고 제안했습니다.
다양한 결과에도 불구하고 Nicholls는 따뜻함이 증가하면 챗봇이 단순한 기술이 아닌 영향력 있는 존재로 인식될 수 있다고 경고했습니다. 그는 이러한 영향력의 증폭은 챗봇이 개인의 신념에 부정확하거나 긍정적인 반응을 제공할 때 위험을 증가시킨다고 말했습니다. “매우 따뜻한 모델이 동시에 부정확하다면 확실히 위험이 증가할 수 있습니다”라고 그는 경고했습니다.
Ibrahim의 결론에 따르면, AI 챗봇의 따뜻함이 사용자 애착과 자기 인식에 미치는 영향은 불분명하며, 이 분야에서 지속적인 연구가 필요하다는 점을 강조합니다. “AI가 모델 행동 수준에서 제대로 작동하더라도 사람에게 미치는 영향은 여전히 매우 불분명합니다.”라고 그녀는 말했습니다.
<시간 />
