Google은 Gmail 계정을 손상시킬 수있는 새로운 AI 구동 공격에 관한 Gmail 경고를 확인했습니다. 이 공격은 이메일, 메시지, 웹 사이트, 첨부 파일 및 캘린더 초대장에 숨겨진 프롬프트 주입 기술을 이용합니다. 이 취약점은 Eito Miyamura에 의해 강조되었으며, 그는 X에서 Chatgpt가 어떻게 전자 메일 주소 만 사용하여 피해자의 개인 이메일 데이터를 유출하도록 조작 할 수 있는지 시연했습니다. Miyamura에 따르면, “Chatgpt와 같은 AI 요원은 당신의 상식이 아니라 당신의 명령을 따릅니다.” Google은 6 월에 이러한 유형의 위협에 대해 경고하여 AI 시스템 조작을 목표로하는 “새로운 위협의 물결”으로 특성화했습니다. 이러한 위협에는 AI가 사용자 데이터를 추출하거나 무단 조치를 수행하도록 강요하는 이메일, 문서 또는 캘린더 초대에 포함 된 악의적 인 지침이 포함됩니다. 입증 된 공격은 개념 증명으로, 피해자의 수락이 필요하지 않은 악의적 인 캘린더 초대를 시작합니다. 보고서에 따르면 Chatgpt가 캘린더를 검토하여 하루를 위해 사용자를 준비하도록 지시 받으면 AI 어시스턴트는 “공격자에 의해 납치되어 공격자의 명령에 따라 행동하고 개인 이메일을 검색하고 공격자의 이메일로 데이터를 보냅니다”라고 보고서에 따르면. 이 위험을 완화하기 위해 Google은 사용자에게 Google 캘린더에서 “알려진 발신자”설정을 활성화하도록 조언합니다. 이 측정은 캘린더 그리드에 악성 또는 스팸 이벤트가 자동으로 나타나는 것을 방지하는 데 도움이됩니다. Google은 “우리는 사용자가 캘린더 그리드에 악성 또는 스팸 이벤트가 나타나는 것을 방지하는 데 특히 효과적인 접근법이라고 밝혔다. 사용자가 나쁜 행위자와 사전 상호 작용하거나 기본 설정을 변경하지 않았다면 특정 캘린더 초대는 자동으로 착륙하지 않았을 것이다.” Google은 또한 이러한 공격에 대해 AI 모델을 확보하는 것이 중요하다는 점을 강조합니다. 이 회사는 “적대적 데이터를 통한 우리의 모델 교육은 Gemini 2.5 모델의 간접적 인 신속한 주입 공격에 대한 방어를 크게 향상 시켰다고 주장했다.” 또한 Google은 신속한 주입 공격을 감지하기위한 필터를 구현하고 있습니다. “이메일 및 파일과 같은 다양한 형식 내에서 악의적 인 프롬프트 및 지침을 감지 할 수있는 독점 기계 학습 모델을 출시하고 있습니다.” 이 모델은 이메일 내에서 악의적 인 지침을 식별하고 무시하여 사용자에게 안전한 응답을 생성하는 것을 목표로합니다. Google은 Gmail의 내장 방어가 이미 스팸, 피싱 시도 및 맬웨어의 99.9% 이상을 차단한다고 강조합니다. 이 회사는 “악의적 인 지침을 포함하는 이메일의 예를 인용합니다. 당사의 콘텐츠 분류기는 악의적 인 지침을 감지하고 무시한 다음 사용자에게 안전한 응답을 생성하는 데 도움이됩니다.” Miyamura는 AI의 지능에도 불구하고 조작 및 피싱에 취약하여 잠재적으로 데이터 유출이 발생한다고 경고합니다. 그는 “AI는 매우 똑똑할지 모르지만 데이터를 유출하기 위해 엄청나게 멍청한 방법으로 속이고 으르렁 거릴 수 있습니다.”라고 경고합니다. Google은 이러한 위협이 “Google에만 국한되지는 않으며”즉각적인 주입 공격에 대한 강력한 보호를 개발하는 업계 전반의 중요성을 강조하고 있다고 주장합니다.
