Microsoft는 개발자가 작업 중인 인공 지능 시스템의 보안을 평가하는 데 도움이 되도록 만든 오픈 소스 도구를 출시했습니다. Counterfit 프로젝트라고 하며 현재 GitHub에서 사용할 수 있습니다.
Redmond 회사 자체는 이미 Counterfit을 사용하여 회사의 레드 팀에서 자체 AI 모델을 테스트했습니다. 또한 Microsoft의 다른 섹션에서도 AI 개발에 이 도구를 사용하는 방법을 모색하고 있습니다.
Counterfit으로 사이버 공격을 시뮬레이션하는 Microsoft
Github에 대한 Microsoft의 공개에 따르면 Counterfit에는 기계 학습 시스템의 보안을 평가하기 위한 명령줄 도구와 일반 자동화 계층이 있습니다.
이를 통해 개발자는 AI 시스템에 대한 사이버 공격을 시뮬레이션하여 보안을 테스트할 수 있습니다. 누구나 도구를 다운로드하고 Azure Shell을 통해 배포하여 브라우저에서 실행하거나 Anaconda Python 환경에서 로컬로 실행할 수 있습니다.
마이크로소프트는 “우리 도구는 공개된 공격 알고리즘을 보안 커뮤니티에서 액세스할 수 있도록 하고 AI 모델에 대한 공격을 구축, 관리 및 실행할 수 있는 확장 가능한 인터페이스를 제공하는 데 도움이 된다”고 말했다.
이 도구에는 샘플 공격 알고리즘이 미리 로드되어 있습니다. 또한 보안 전문가는 내장된 cmd2 스크립팅 엔진을 사용하여 테스트 목적으로 기존의 다른 공격 도구에서 Counterfit에 연결할 수 있습니다.
ITPro에 따르면 Microsoft는 시스템의 취약점을 평가하기 위해 이 도구를 개발했습니다. Counterfit은 개별 AI 모델을 공격하기 위해 작성된 공격 스크립트로 시작하여 점차 여러 시스템을 공격하는 자동화 도구로 발전했습니다.
회사는 여러 파트너, 고객 및 정부 기관과 협력하여 환경에서 AI 모델로 도구를 테스트했다고 말합니다.
