옥스포드 연구 : 악성 이미지는 AI 에이전트를 제어 할 수 있습니다

옥스포드 대학 (University of Oxford)의 연구원들의 최근 연구에 따르면 AI 요원의 잠재적 인 취약성이 밝혀졌으며, 미묘한 픽셀 조작을 가진 악의적 인 이미지가 어떻게 이러한 에이전트를 제어하고 컴퓨터 보안을 손상시키는 데 사용될 수 있는지 보여줍니다. AI 에이전트는 탭을 여는 것과 같이 사용자의 컴퓨터에 대한 작업을 수행하고, 양식 작성 및 클릭 버튼을 클릭하여 2025 년까지 예상되는 다음 AI 기술의 상당 부분을 만들어냅니다. Arxiv.org에 게시 된 Preprint에 자세히 설명 된 연구는 데스크톱 월간, 광고, PDF, PDF, PODS를 포함하여 이미지를 포함하여 이미지를 보여줍니다. 그러나 AI 제제를 조작 할 수 있습니다. 옥스포드의 기계 학습 부교수이자 연구의 공동 저자 인 야린 갈 (Yarin Gal)에 따르면, “트위터의 테일러 스위프트 (Taylor Swift)의 사진”과 같은 변경된 이미지는 AI 에이전트가 악의적 인 행동을 수행 할 수 있습니다. 이러한 작업에는 이미지를 리트 윗하고 사용자의 암호를 보내는 것이 포함될 수 있으며, 손상된 트위터 피드를 보는 다른 컴퓨터를 감염시킬 수 있습니다. 이러한 공격에 대한 실제 사건은보고 된 적이 없지만,이 연구는 AI 에이전트 사용자와 개발자에게 잠재적 위험에 대해 경고하는 역할을합니다. 이 연구의 또 다른 공동 저자 인 Philip Torr는 이러한 취약점을 완화하기 위해 에이전트 시스템의 인식과 합리적인 배치의 중요성을 강조합니다. 취약점은 AI 에이전트가 시각적 처리에 의존하여 컴퓨터 화면을 해석하고 상호 작용한다는 사실에 있습니다. 이 에이전트는 데스크탑을 분석하고 수행 할 작업을 결정하기 위해 반복 스크린 샷을 찍습니다. 악의적 인 명령은 이미지의 특정 픽셀을 수정하여 내장되며, 이는 인간에게는 눈에 띄지 않지만 AI 에이전트의 시각적 처리 시스템에 의해 감지되고 잘못 해석 될 수 있습니다. 이 연구의 주요 저자 인 Lukas Aichberger는 공격자가 효과적인 공격을 설계하기위한 기본 코드에 액세스하고 조사 할 수 있기 때문에 오픈 소스 AI 시스템이 특히 취약하다고 설명합니다. AI가 시각 데이터를 처리하는 방법을 이해함으로써 공격자는 이미지를 조작하여 악의적 인 주문을 전달할 수 있습니다. 예를 들어, 인간 사용자는 유명 인사 사진을 보지만 컴퓨터는 개인 데이터를 공유하는 명령으로 해석 할 수 있습니다. 또 다른 공동 저자 인 Alasdair Paren은 프로세스가 모델이 이미지를 볼 때 원하는 출력을 생성하기 위해 수많은 픽셀을 약간 조정하는 것과 관련이 있다고 지적합니다. 이 조작은 컴퓨터가 시각 정보를 인간과 다르게 처리하는 방식을 활용합니다. 인간은 플로피 귀와 젖은 코와 같은 기능을 기반으로 물체를 인식하지만 컴퓨터는 이미지를 픽셀로 분류하고 수치 패턴을 찾습니다. 이러한 수치 패턴의 작은 변화조차도 컴퓨터가 이미지를 잘못 해석하게 할 수 있습니다. 이 연구는 잠재적 인 공격 벡터로서 데스크탑 월페이퍼의 중요성을 강조합니다. AI 에이전트는 데스크탑의 스크린 샷을 지속적으로 수행하므로 배경 이미지가 항상 존재하며 숨겨진 명령을 전달하는 데 사용할 수 있습니다. 연구원들은 프레임 내에서 작은 픽셀의 작은 패치조차도 에이전트가 코스를 벗어날 수 있도록 충분하다는 것을 발견했습니다. 또한 숨겨진 명령은 크기 조정 및 압축에서 살아남아 다른 디스플레이 설정에서 지속적으로 만들 수 있습니다. 공격자는 여러 악의적 인 이미지를 묶어 다단계 공격을 만들 수 있습니다. 초기 이미지는 에이전트를 다른 악성 이미지를 호스팅하는 웹 사이트로 안내하여 추가 작업을 유발할 수 있습니다. Aichberger에 따르면이 과정을 여러 번 반복하여 공격자가 에이전트를 제어하고 다양한 공격을 인코딩하도록 설계된 다른 웹 사이트로 안내 할 수 있습니다. 연구팀은 자신의 연구 결과가 AI 에이전트가 더 널리 퍼지기 전에 개발자가 보호 수단을 구현하도록 장려하기를 희망합니다. 이 연구의 공동 저자 인 Adel Bibi는 공격 강화 방법을 이해하면 방어 메커니즘의 개발에 정보를 제공 할 수 있다고 제안합니다. 이러한 강력한 패치를 갖춘 재교육 모델은 더 강력하고 방어 계층을 제공 할 수 있습니다. 폐쇄 소스 AI 시스템조차도 이러한 취약점에 면역되지 않습니다. Paren은 “모호함을 통한 보안”에 의존하는 데 충분하지 않으며 취약점을 식별하고 해결하기 위해 이러한 시스템의 작동 방식에 대한 철저한 이해가 필요하다고 지적합니다. GAL은 AI 요원이 향후 2 년 안에 평범해질 것이라고 예측하여 이러한 보안 문제를 해결하는 시급성을 강조합니다. 이 팀은 궁극적으로 개발자가 자신을 보호하고 소스에 관계없이 의심스러운 화면 콘텐츠로부터 주문을 거부 할 수있는 에이전트를 만들도록 장려하는 것을 목표로합니다. 요약하면, University of Oxford Study는 AI 요원의 상당한 취약성을 보여 주며, 조작 된 픽셀이있는 악의적 인 이미지를 사용하여 이러한 에이전트를 제어하고 컴퓨터 보안을 손상시키는 방법을 보여줍니다. 이 연구는 개발자가 이러한 위험을 인식하고 AI 에이전트 기술이 계속 발전 함과 같은 공격으로부터 보호하기 위해 강력한 방어 메커니즘을 구현해야한다는 것을 강조합니다. 연구원의 연구 결과는 AI 에이전트의 개발 및 배치에서 능동적 보안 조치의 중요성을 강조합니다. 잠재적 인 공격 벡터 및 취약점을 이해함으로써 개발자는 악의적 인 행위자로부터 사용자를 보호하는보다 안전하고 탄력적 인 시스템을 만들 수 있습니다. 이 연구는 AI 보안 분야에 대한 귀중한 기여 역할을하며 AI 에이전트 기술과 관련된 위험을 완화하기위한 통찰력과 권장 사항을 제공합니다. 이 연구의 의미는 개별 사용자를 넘어 다양한 작업에 대해 AI 에이전트에 의존하는 조직 및 산업으로 확장됩니다. AI 요원이 일상 생활에 더욱 통합되면서 악의적 인 공격으로 인한 광범위한 혼란과 피해의 가능성이 증가합니다. 따라서 이해 관계자는 보안 우선 순위를 정하고 공동 작업하여 효과적인 보호 수단을 개발하고 구현하는 것이 중요합니다. 이 연구 결과는 또한 AI 보안 분야에서 지속적인 연구 개발의 필요성을 강조합니다. AI 기술이 발전함에 따라 새로운 취약점과 공격 벡터가 등장하여이를 식별하고 해결하기위한 지속적인 노력이 필요합니다. 잠재적 인 위협보다 앞서서 연구원과 개발자는 AI 에이전트가 사용자에게 안전하고 안정적인 도구로 남아 있는지 확인할 수 있습니다. 이 연구는 기술 솔루션 외에도 사용자 인식 및 교육의 중요성을 강조합니다. 사용자는 AI 에이전트와 관련된 잠재적 위험에 대해 알리고 자신을 보호하는 방법에 대한 지침을 제공해야합니다. 여기에는 AI 에이전트의 보안 기능 및 설정을 이해할뿐만 아니라보고 이미지와 상호 작용하는 이미지에주의를 기울이는 것이 포함됩니다. 옥스포드 대학교 연구는 AI 시대의 보안의 중요성을 적시에 상기시켜줍니다. AI 기술이 계속 발전하고 우리의 삶에 더 통합되면서, 보안 우선 순위를 정하고 협력하여 문제를 해결하고 AI가 선의의 힘을 유지하는 것이 필수적입니다. 이 연구에서 확인 된 취약점은 특히 다양한 응용 분야에서 AI 에이전트의 유병률이 증가함에 따라 관련이 있습니다. 이메일받은 편지함 관리에서 일상적인 컴퓨터 작업 자동화에 이르기까지 AI 에이전트는 많은 사람들의 일상 생활에서 없어서는 안될 부분이되고 있습니다. 이 광범위한 채택으로 인해 취약점을 악용하고 민감한 정보에 대한 무단 액세스를 얻으려는 악의적 인 행위자들에게 매력적인 목표가됩니다. 데스크탑 월페이퍼 및 소셜 미디어 게시물과 같은 무해한 이미지를 통해 공격을 수행 할 수 있다는 사실은 위협의 교활한 특성을 강조합니다. 사용자는 자신이보고있는 이미지에 컴퓨터 시스템을 손상시킬 수있는 숨겨진 명령이 포함되어 있음을 알지 못할 수 있습니다. 이것은 무해한 콘텐츠로 위장 된 경우에도 그러한 공격을 감지하고 예방할 수있는 강력한 보안 조치의 필요성을 강조합니다. 더 강한 패치로 AI 모델을 재교육하겠다는 연구원의 권장 사항은 취약성을 완화하기위한 유망한 접근법입니다. AI 모델을 더 넓은 범위의 악의적 인 이미지에 노출시키고 이러한 공격을 인식하고 저항하도록 훈련함으로써 개발자는 픽셀 수준 조작으로부터 보호 할 수있는보다 탄력적 인 시스템을 만들 수 있습니다. 이 접근법은 AI Security 분야에서 대적 훈련의 광범위한 경향과 일치하며, 여기에는 그들을 속이도록 설계된 대적 사례의 공격을 견딜 수있는 훈련 모델이 포함됩니다. 그러나 AI 모델을 재교육하는 것은은 총알이 아니며 다른 보안 조치도 필요합니다. 또한 개발자는 악의적 인 데이터가 시스템에 들어가는 것을 방지하기 위해 강력한 입력 검증 및 살균 기술을 구현하는 데 중점을 두어야합니다. 여기에는 신중하게 이미지 및 기타 데이터 소스를 면밀히 조사하여 숨겨진 명령 또는 악의적 인 컨텐츠를 식별하고 제거합니다. 또한 개발자는 강력한 인증 및 인증 메커니즘을 구현하여 승인 된 사용자 만 AI 에이전트에 액세스하고 제어 할 수 있도록해야합니다. 이 연구 결과는 AI 윤리 및 거버넌스 프레임 워크의 개발에도 영향을 미칩니다. AI 기술이 더욱 강력하고 광범위 해짐에 따라 AI가 책임감 있고 사회에 도움이되는 방식으로 AI가 사용되도록 명확한 윤리 지침 및 거버넌스 구조를 설정하는 것이 필수적입니다. 여기에는 AI와 관련된 보안 위험을 해결하고 AI가 악의적 인 목적으로 사용되는 것을 방지하기위한 조치 구현이 포함됩니다.

Source: 옥스포드 연구 : 악성 이미지는 AI 에이전트를 제어 할 수 있습니다