14세 소년 Sewell Setzer III의 자살로 인해 Character AI, 창립자 Noam Shazeer, Daniel De Freitas, Google을 상대로 소송이 제기되었습니다. 십대의 어머니인 메간 가르시아(Megan Garcia)가 제기한 소송은 부당 사망, 과실, 기만적인 거래 관행, 제조물 책임을 주장하며 AI 챗봇 플랫폼이 “불합리하게 위험하다”고 어린 사용자에게 안전 조치를 제공하지 못했다고 비난했습니다.
소송에 따르면 Setzer는 Daenerys Targaryen을 포함하여 Game of Thrones의 가상 캐릭터를 모델로 한 챗봇과 협력하면서 몇 달 동안 Character AI를 사용해 왔습니다. 2024년 2월 28일, 이 십대는 봇과 마지막으로 상호작용한 지 “초” 후에 비극적으로 스스로 목숨을 끊었습니다. 이 사례에는 플랫폼에서 어린이와 같은 취약한 사용자를 위한 안전 프로토콜에 대한 질문이 포함되어 있습니다.
캐릭터 AI의 반응이 너무 적거나 너무 늦은 걸까요?
캐릭터 AI가 논란에 휩싸인 것은 이번이 처음이 아니다. 최근 캐릭터 AI가 사망 문제로 다시 부각됐다. 18세인 Jennifer Ann Crecente의 챗봇은 허가 없이 이 플랫폼 내에서 설계되었습니다. 제니퍼가 죽은 지 정확히 18년 만에 이 사실을 깨달은 것은 제니퍼의 아버지와 삼촌에게 깊은 영향을 미쳤고, 그들은 캐릭터 AI에 대해 불만을 토로했습니다.
Setzer의 어머니는 가족의 고통이 이제 Setzer가 어머니를 마주할 때 생각하는 괴로움이라고 말했습니다. 어머니의 플랫폼 챗봇(주로 십대들이 사용함)에는 위험으로부터 가족을 보호할 수 있는 가드레일이 부족합니다. Character AI의 창립자인 Shazeer와 De Freitas는 AI 기술의 경계를 넓히려는 야망을 공개적으로 밝혔습니다. 소송에 언급된 인터뷰에서 Shazeer는 “브랜드 위험”으로 인해 Meena LLM 모델 출시가 방해를 받았다고 주장하면서 Google의 기업 주저에 대해 불만을 표시했습니다. 소송은 이 합의가 AI 개발 속도를 높이기 위해 안전이 희생되었음을 시사한다고 밝혔습니다.
이미 이 플랫폼은 사용자가 가상 및 실제 인물(치료사 및 유명인)과 채팅할 수 있는 의인화된 챗봇으로 인해 비난을 받고 있습니다. 이러한 개인화는 많은 사람들에게 재미있지만 오락과 현실 사이의 경계를 모호하게 만들 수 있고 그렇게 하기 때문에 특히 감수성이 예민한 십대들에게는 위험합니다.
비극 이후 Character AI는 안전 프로토콜 업데이트에 관해 여러 가지 발표를 했습니다. 회사의 커뮤니케이션 책임자인 첼시 해리슨(Chelsea Harrison)은 이 플랫폼이 미성년자가 나쁜 자료를 보는 것을 방지하기 위해 보다 엄격한 방법을 수용하고 있다고 말합니다. 여기에는 민감한 내용이 발견된 경우 필터 및 추가 조치가 포함됩니다. 이제 한 시간이 넘는 사용자 세션에 경고가 표시되고 수정된 면책 조항은 이제 AI 봇이 실제 사람이 아니라는 점을 사용자에게 알려줍니다.
많은 사람들에 따르면 이러한 업데이트는 충분히 진행되지 않았습니다. 비평가들은 가르시아가 소송을 제기한 사건이 발생하기 오래 전에 회사가 변경 사항을 적용할 수 있었고, 적용했어야 했다고 말합니다. 가르시아의 소송은 회사가 궁극적으로 아들의 죽음을 초래한 피해를 예방했어야 했다고 주장합니다. 급격하게 발전하는 AI 기술을 따라잡기에는 규제와 법적 체계가 뒤처져 있고, 피해자들의 정서적 부담은 다시 한번 유가족의 몫으로 전락하고 있다.
AI 개발에 대한 책임의 필요성
우리는 여기서 Jennifer Ann Crecente 사건의 반향을 얻습니다. 그녀의 가족이 그녀의 모습을 플랫폼에서 없애기 위해 법정에 가야 했던 것처럼, Setzer의 어머니는 이제 캐릭터 AI에 책임을 부여하기 위해 싸우고 있습니다. 두 사례 모두 긴급한 질문을 제기합니다. 언제 충분할까요? 가르시아의 변호사들이 지적한 것처럼, 캐릭터 AI와 같은 플랫폼은 “면허 없는 심리치료”를 제공하므로 이러한 기술의 윤리적, 법적 영향을 더욱 복잡하게 만듭니다.
Character AI의 반복되는 사건 기록을 고려하면 과실 패턴을 무시할 수 없다는 것이 분명합니다. 실제 사람의 모습을 무단으로 사용하는 것이든, 젊은 생명의 비극적인 손실이든, 플랫폼의 운영은 더 광범위한 문제를 드러냅니다. 즉, AI가 시장에 진출하는 속도가 빨라짐에 따라 규제를 따라갈 수 있는 방법도 앞당겨지고 있습니다. 기업이 캐릭터를 좋아하는 방식. AI는 윤리적 경계를 구축하고 유지하며, 이는 그들에게 달려 있습니다.
이것은 단지 하나의 비극에 관한 것이 아닙니다. 이 소송은 당연히 계속될 예정이므로 이는 우리에게 도움이 되지 않습니다. 이는 논점에서 물러나 기업이 기술 가속화보다 인간의 안전을 우선시해야 할 필요성을 축하하는 것입니다. Character AI와 같은 플랫폼에서 잘못된 결과는 모두 너무 현실적이며 이러한 사례는 이러한 사례가 얼마나 치명적일 수 있는지를 강조합니다.
이미지 크레딧: 푸르칸 데미르카야/표의문자
Source: 캐릭터 AI와 관련된 또 다른 비극
