Roblox는 온라인 채팅에서 잠재적 인 아동 착취의 초기 징후를 감지하도록 설계된 인공 지능 시스템 인 Sentinel을 공개했습니다. 2025 년 8 월 8 일에 발표 된 Sentinel은 오픈 소스를 받고 자유롭게 사용할 수 있으므로 다른 플랫폼이 자체 중재 프레임 워크에 통합 할 수 있습니다.
1 억 1 천 1 백만 명이 넘는 월간 활동적인 사용자를 자랑하는이 회사는 Sentinel이 이미 수백 개의 잠재적 인 아동 착취 사건을 법 집행에 신고하는 데 도움을 주었다고보고했습니다. Roblox의 최고 안전 책임자 인 Matt Kaufman은 주로 고립 된 단어 나 문구에 중점을 둔 이전 필터링 시스템의 한계를 강조했습니다. 그는 아동 멸종 위기 및 손질과 같은 문제는 종종 장기간의 상호 작용 패턴을 통해 나타납니다. Kaufman은“그러나 아동 멸종 위기 또는 손질과 관련된 것들에 대해 생각할 때, 당신이보고있는 행동의 유형은 매우 오랜 시간 동안 나타납니다.
Sentinel은 단지 고립 된 용어가 아닌 대화 내에서 이러한 진화하는 패턴을 식별하도록 설계되었습니다. 이 시스템은 매일 플랫폼에서 교환되는 약 60 억 개의 채팅 메시지의 1 분간 스냅 샷을 처리하여 더 넓은 맥락에서 평가합니다. 이를 용이하게하기 위해 엔지니어는 두 가지 별개의 인덱스를 개발했습니다. 하나는 무해한 채팅의 예와 아동 안전 지침을 위반 한 메시지가 포함 된 메시지입니다. Roblox의 신뢰 및 안전 엔지니어링 담당 부사장 인 Naren Koneru는 AI 모델의 정확성을 향상시키기 위해 두 인덱스가 새로운 자료로 지속적으로 업데이트된다고 언급했습니다. Koneru는“더 나쁜 행위자를 감지함에 따라 그 지수가 더 좋아지고, 그 지수를 지속적으로 업데이트합니다.”라고 Koneru는 덧붙였다.
Koneru는 Sentinel이 사용자의 지속적인 활동을 모니터링하여 자신의 행동이 안전한 상호 작용 또는 위험한 행동으로 경향이 있는지 식별하는 것을 자세히 설명했습니다. “하나의 메시지를 보내기 때문에 하나의 메시지에서는 발생하지 않지만 모든 날의 상호 작용 이이 두 가지 중 하나로 이어지기 때문에 발생합니다.”라고 그녀는 설명했습니다. AI가 면밀한 검사를 위해 사용자를 플래그하는 경우, 인간 중재자는 개인의 전체 채팅 기록, 친구 목록 및 게임에 대한 철저한 검토를 수행합니다. 보증되면 Roblox는 이러한 사건을 법 집행 기관과 National Center for Missing and Exploited Children으로 확대합니다.
Sentinel의 도입은 Roblox가 상당한 법적 문제에 직면함에 따라 발생합니다. 지난달 아이오와에 제기 된 소송에 따르면 13 세의 소녀가 Roblox를 통해 성인 포식자와 연락을 취하고 이후에 납치 된 후 여러 주에서 인신 매매되었다고 주장했다. 이 소송은 회사의 플랫폼 디자인이“소아 성애자를위한 쉬운 먹이”를 만들었다 고 주장합니다.
Roblox는 채팅에서 개인 정보, 이미지 및 비디오를 공유하는 것을 금지하는 엄격한 정책을 유지합니다. 또한 명시적인 부모의 허가가 부여되지 않는 한 13 세 미만의 사용자를위한 직접 메시지는 제한됩니다. 회사의 모니터링 기능은 채팅이 엔드 투 엔드 암호화되지 않았기 때문에 안전 위반에 대한 대화를 감독 할 수 있다는 사실에 의해 도움이됩니다. Roblox는 어떤 시스템도 완전히 보호를 제공 할 수 없다는 것을 인정하지만 Roblox는 Sentinel과 같은 AI 발전이 유해한 행동의 조기 발견 가능성을 크게 향상 시킨다고 주장합니다.
