AIM Security Ltd.는 오늘 Microsoft Corp.의 365 Copilot Generative AI 도구를 대상으로 한 “Echoleak”라는 첫 번째 알려진 클릭 인공 지능 취약점에 대한 세부 사항을 공개했습니다. 이 취약점을 통해 공격자는 사용자 상호 작용없이 민감한 내부 데이터를 추방 할 수있었습니다.
취약점은 1 월에 발견되었으며 즉시 Microsoft에보고되었습니다. AIM Security는 Microsoft의 수정 구현에 따라 지금 만 세부 정보를 공개했습니다.
Echoleak는 AIM Security에 의해 “LLM 범위 위반”으로 설명됩니다. 이것은 대형 언어 모델을 조작하여 의도 된 운영 상황을 넘어 정보를 누출하도록 조작 할 수있는 시나리오를 나타냅니다. 이 특정한 경우, 취약점은 Microsoft의 크로스 프롬프트 주입 공격 방어를 우회하도록 설계된 특정 Markdown 구문이 포함 된 악의적 인 이메일을 제작하는 것과 관련이 있습니다.
악의적 인 Markdown은 참조 스타일 이미지 및 링크 형식을 사용했습니다. 이 기술을 사용하면 페이로드가 Copilot의 소독 필터를 우회 할 수 있었으며 AI 보조원이 이메일을 검색하고 처리했을 때 손상되지 않은 상태를 유지했습니다.
그런 다음 악용은 Copilot의 컨텐츠 보안 정책에 따라 화이트리스트에있는 SharePoint 및 Teams와 같은 Microsoft 자체 신뢰할 수있는 도메인을 활용했습니다. 이 도메인은 Copilot에 의해 렌더링 될 때 자동으로 아웃 바운드 요청을 트리거하는 외부 링크 또는 이미지를 포함시키는 데 사용될 수 있습니다. 공격자는 Coplelot의 컨텍스트에서 검색된 민감한 데이터를 포함하여 이러한 참조를 제어하여 컨텐츠를 제어하는 서버로 리디렉션 할 수 있습니다.
AIM의 연구원들이 식별 한 Echoleak의 중요한 측면은 클릭이없는 특성입니다. 공격은 사용자 상호 작용없이 전적으로 백그라운드에서 발생합니다. Copilot의 자동화 된 이메일 처리는 Exploit 체인을 시작하고 완료하기에 충분했습니다.
AIM Security는 사용자 나 시스템 관리자에게 눈에 띄는 알림없이 내부 메모, 전략 문서 또는 개인 식별자와 같은 데이터가 비밀리에 유출 될 수 있음을 보여주는 개념 증명을 발표했습니다.
Microsoft는이 문제를 인정했지만 그 취약성이 야생에서 악용된다는 증거는 없다고 밝혔다.
야생 착취의 부족은 긍정적이지만 AI 서비스에 클릭이없는 취약점의 존재는 미래의 위험을 강조합니다. 사이버 보안 전문가들은 그러한 방법의 출현에 전적으로 놀라지 않았다.
Wallarm Inc.의 보안 전략가 인 Tim Erlin은 다음과 같이 말했습니다 :“이런 일이 일어나기를 기대하지 않았다면,주의를 기울이지 않았다. 특정 기술은 예측할 수 없을 수도 있지만, 연구자들은 끊임없이 확장되는 AI 공격 표면에 대한 의미 있고 새로운 악용을 찾지 못한다는 생각은 마이크로 소프트와 연구자들이이를 잘 처리하는 것이 었습니다.
Socradar Cyber Threat Intelligence Inc.의 CISO 인 Ensar Seker는 공개가“NATO, 정부, 방어, 의료 및 엔터프라이즈 AI 보조원에 대한 심각한 영향을 미쳤다고 경고했다. 공격자는 더 이상 사용자 자격 증명을 타협하거나 피싱에 의존 할 필요가 없다”고 경고했다.
Seker는 또한이 문제가 Pulecilot을 넘어 잠재적으로 확장된다고 강조했다. “특히 눈에 띄는 것은 이것이 Copilot에만 국한되지 않는다는 것”이라고 그는 말했다. “AIM Labs가 경고함에 따라, 내부 데이터와 함께 신뢰할 수없는 입력을 처리하는 RAG 기반 에이전트는 범위 위반에 취약합니다. 이는 AI 보조 공간에 걸쳐 광범위한 건축 적 결함을 신호합니다.
