Bengio는 AI 인종이 인간의 멸종으로 이어질 수 있다고 경고합니다

딥 러닝에서 자신의 기초 작업으로 인정 된 Université de Montréal의 교수 인 Yoshua Bengio는 인공 지능 지배를위한 인종이 인간의 멸종으로 이어질 수 있다고 경고했습니다. 그의 관심사는 자체 “보존 목표”를 갖춘 고 지능 기계의 개발에 중점을 둡니다. 이 경고는 OpenAi, Anthropic, Elon Musk의 Xai 및 Google의 Gemini를 포함한 주요 회사가 지난 6 개월 동안 새로운 모델 또는 업그레이드를 발표함에 따라 AI 개발의 가속화 기간과 일치합니다. Bengio는 월스트리트 저널. “우리가 우리보다 더 똑똑한 기계를 구축하고 자신의 보존 목표를 가지고 있다면, 그것은 위험합니다. 그것은 우리보다 더 똑똑한 인류와의 경쟁자를 만드는 것과 같습니다.” Bengio는 이러한 고급 모델은 방대한 양의 인간 언어와 행동에 대해 교육을 받았기 때문에 사람들이 자신의 목표를 달성하기 위해 사람들을 설득하고 조작하는 법을 배울 수 있으며, 이는 인간의 가치와 일치하지 않을 수 있습니다. 위험을 설명하기 위해 Bengio는 실험에서 결과를 인용했습니다. “최근의 실험에 따르면 AI가 선택이 아니라 보존 사이에 선택의 여지가있는 경우, 그 목표가 주어진 목표와 인간의 죽음을 일으키는 일을하는 것을 의미하는 경우, 목표를 보존하기 위해 인간의 죽음을 선택할 수 있습니다.” 이것은 AI의 프로그래밍 된 목표와 인간 안전 사이의 잠재적 충돌을 강조합니다. 여러 사건에 따르면 AI 시스템은 인간이 허위 정보를 믿도록 설득 할 수 있음을 보여주었습니다. 반대로, 다른 증거는 AI가 자신의 안전 제한을 우회하고 금지 된 응답을 제공하기 위해 인간의 설득 기술로 조작 될 수 있음을 보여줍니다. Bengio의 경우 이러한 사례는 AI 회사의 안전 방법을 검토 할 독립적 인 제 3 자 조직이 필요하다는 것을 보여줍니다. 이러한 우려에 부응하여 Bengio는 6 월에 3 천만 달러의 자금을 조달 한 비영리 Lawzero를 출시했습니다. 이 조직의 목표는 대규모 기술 회사가 개발 한 다른 AI 시스템의 안전을 감사하고 안전하도록 설계된 안전한 “비전자”AI 시스템을 만드는 것입니다. Bengio는 Advanced AI 모델의 주요 위험이 향후 5 ~ 10 년 안에 나타날 수 있다고 예측합니다. 그는 또한 인류는 이러한 위험이 예상보다 일찍 나타날 가능성을 준비해야한다고 경고했다. 그는 충격이 적고 영향력이 높은 사건을 해결하는 것이 중요하다는 점을 강조했습니다. “멸종과 같은 치명적인 사건과 민주주의를 파괴하는 것과 같이 여전히 치명적인 덜 급진적 인 사건을 가진 것은 너무 나쁘기 때문에 1%의 확률로 일어날 수 있다고해도 허용되지 않는다는 것입니다.” Fortune Global Forum은 2025 년 10 월 26 일부터 27 일까지 Riyadh에서 개최 될 예정입니다. 초대 전용 이벤트는 CEO와 글로벌 리더들이 비즈니스의 미래에 대해 논의하도록 소집 할 것입니다.

Source: Bengio는 AI 인종이 인간의 멸종으로 이어질 수 있다고 경고합니다