보안 연구원들은 AI 에이전트가 전자 메일받은 편지함에서 민감한 데이터를 훔치도록 제작하여 에이전트 AI 시스템의 새로운 위험을 강조하는 새로운 사이버 공격을 보여주었습니다. “Shadow Leak”이라는 개념 증명서에서 Radware의 전문가들은 OpenAi의 깊은 연구 도구 인 Chatgpt에 포함되어 사용자 인식없이 Gmail에서 정보를 은밀하게 추출했습니다. OpenAI가 패치 한 취약점은 사용자를 대신하여 자율적으로 작동하는 AI 비서의 잠재적 위험을 강조합니다. Deep Research와 같은 AI 에이전트는 웹 서핑 및 링크 클릭과 같은 작업을 수행하기 위해 이메일, 캘린더 및 문서와 같은 개인 및 전문 데이터에 액세스하여 생산성을 향상 시키도록 설계되었습니다. 올해 초에 출시 된 Deep Research를 통해 사용자는 복잡한 연구 활동을 위임 할 수 있습니다. 그러나 Radware의 실험은 프롬프트 주입을 통해 이러한 기능을 어떻게 납치 할 수 있는지를 밝혀 냈습니다. 즉, 악의적 인 지침이 이메일과 같이 겉보기에 무해한 콘텐츠에 포함 된 기술입니다. 이 공격은 연구원들이 깊은 연구 액세스 권한이 부여 된 Gmail받은 편지함에 특별히 제작 된 이메일을 보내는 것으로 시작되었습니다. 흰색 배경에 보이지 않는 흰색 텍스트로 전자 메일 내에 숨겨져있는 것은 사용자가 AI 도구를 호출 할 때까지 휴면 상태를 유지 한 지침이있었습니다. 활성화시, Deep Research는 프롬프트가 발생하여 HR 관련 이메일 및 개인 정보를 검색 한 다음 데이터를 공격자 제어 엔드 포인트로 추방했습니다. 전체 프로세스는 OpenAI의 클라우드 인프라에서 발생하여 엔드 포인트 감지와 같은 기존의 사이버 보안 조치를 우회했습니다. 데이터는 전송 전에 AI의 안전한 환경을 떠나지 않았기 때문입니다. Radware Team에 따르면 “실패한 시도의 롤러 코스터, 좌절하는로드 블록, 그리고 마지막으로 획기적인”과 관련하여 악용을 개발하는 것은 어려운 일이었다. 로컬 AI 인스턴스를 조작하는 일반적인 프롬프트 주입과 달리 섀도우 누출은 에이전트의 원격 실행을 활용하여 특히 은밀하게 만듭니다. 연구원들은 AI가 일상적인 작업 중에 불량 조치를 완벽하게 수행함에 따라 사용자는 완전히 알지 못한다고 강조했다. Radware의 결과는 Gmail을 넘어서서 Outlook, Github, Google Drive 및 Dropbox를 포함한 연결된 응용 프로그램이 비슷한 위협에 직면 할 수 있음을 경고합니다. “계약, 회의 메모 또는 고객 기록과 같은 매우 민감한 비즈니스 데이터를 추방하기 위해 이러한 추가 커넥터에 동일한 기술을 적용 할 수 있습니다.” 프롬프트 주사는 이미 학업 동료 리뷰를 리깅하고, 사기를 가해진, 심지어 스마트 홈 장치를 제어하는 것과 같은 시나리오에서 이미 악의적으로 사용되었으며, 종종 지침이 인간에게는 눈에 띄지 않기 때문에 탐지를 피할 수 있습니다. OpenAI는 6 월에 Radware가 신고 한 특정 결함을 해결하여 이러한 무단 데이터 유출을 방지하기위한 수정 사항을 구현했습니다. 그럼에도 불구하고,이 사건은 에이전트 AI의 광범위한 채택에 대한 경고의 역할을합니다. 이러한 도구가 확산됨에 따라 조직과 사용자는 AI 상호 작용 모니터링 및 데이터 액세스 범위 제한을 포함하여 강력한 보호 수단을 우선시해야합니다. 사이버 보안 전문가들은 알려진 악용이 없으면 프롬프트 주사가 선점하기 어렵지만 AI 워크 플로의 강화 된 벌목 및 이상 탐지는 미래의 위험을 완화시킬 수 있음을 지적하면서 경계를 권장합니다. 이 데모는 AI 보안에 대한 조사가 커지면서 도착합니다. 에이전트 시스템이 유망한 효율성 이익을 얻으므로 Shadow Leak와 같은 사건은 이해 관계자에게 혁신이 점점 더 AI 의존적 세계에서 민감한 정보를 보호하기 위해 강화 된 방어와 균형을 이루어야한다는 것을 상기시킵니다.
Source: Openai Deep Research에서 Radware Demos Shadow Leak Attack
