ChatGPT 개발자들은 대화에서 대화로 개인 정보를 유지하여 사용자 경험을 개선하기 위해 메모리 도구를 고안했습니다. 하지만 많은 기회와 마찬가지로 위험도 따릅니다. 보안 전문가들은 최근 해커가 ChatGPT에 거짓 메모리를 주입하여 사용자를 데이터 도난으로부터 위험에 빠뜨리는 데 사용할 수 있는 기술을 발견했습니다.
문제는 ChatGPT MacOS 애플리케이션에 있는데, 적대적인 당사자가 프롬프트를 주입하여 AI가 사용자에 대해 기억하는 내용을 변경할 수 있습니다. 결과적으로 정보가 저장되고 나중에 해커의 서버로 전송됩니다. 문제가 심각해 보이지만 OpenAI가 사용자를 보호하기 위해 취한 여러 단계 덕분에 처음 보이는 것만큼 무섭지 않을 수도 있습니다.
ChatGPT 메모리 시스템의 주요 약점
Embrace The Red의 연구원 Johann Rehberger는 철저한 보고서에서 이 결함을 자세히 설명했습니다. Rehberger는 공격자가 ChatGPT의 메모리에 악성 명령을 저장하기 위해 프롬프트를 삽입하는 방법을 보여주었습니다. 간단히 말해, 해커는 앱을 속여 잘못된 정보를 기억하게 하여 향후 교환에 민감한 데이터를 위험에 빠뜨릴 수 있습니다.
이 익스플로잇은 공격자가 여러 차례의 참여에 걸쳐 ChatGPT의 메모리를 관리할 수 있기 때문에 안전하지 않습니다. 해커는 거짓 메모리가 시스템에 내장되어 있는 한 선호도에서 이름 및 로캘에 이르기까지 모든 사용자 데이터를 추출할 수 있습니다.
다행히도 이런 유형의 공격은 널리 퍼져 있지 않습니다. OpenAI는 이미 취약점을 해결했기 때문에 해커가 메모리 기능을 악용하기 훨씬 어렵게 만들었습니다. 그래도 특히 타사 도구와 애플리케이션의 취약점은 잠재적인 조작을 위한 새로운 영역을 노출합니다.
수정 사항 및 남아 있는 취약점
OpenAI는 인식된 메모리 문제에 대응하여 ChatGPT의 웹 변형에 대한 API 업데이트를 출시하여 브라우저 인터페이스를 통한 프롬프트 주입 익스플로잇 사용을 방지했습니다. 또한 메모리 도구에 대한 업데이트를 출시하여 침출 벡터가 되는 것을 막았습니다. 이러한 개선 사항은 잠재적 위험이 지속되더라도 시스템이 높은 수준의 보안을 유지하는 데 필요합니다.
타사 애플리케이션은 여전히 가장 큰 우려의 원인입니다. OpenAI의 수정으로 필수 시스템에서 메모리 남용 문제가 종식되었지만, 보안 연구원들은 신뢰할 수 없는 콘텐츠가 연결된 애플리케이션, 파일 업로드 및 탐색 도구를 통해 여전히 ChatGPT의 메모리를 조종할 수 있다고 경고합니다. 이는 즉각적인 주입이 더욱 번창할 수 있는 분야를 나타냅니다.
자신을 보호하는 방법
OpenAI의 조정으로 광범위한 공격의 위협이 줄어들었지만, 사용자는 계속 경계해야 합니다. 잠재적인 메모리 해킹으로부터 자신을 보호하는 몇 가지 방법은 다음과 같습니다.
- ChatGPT 메모리를 정기적으로 검토하세요: 사용자는 ChatGPT 앱에서 ‘새로운 메모리 추가됨’ 알림을 자주 확인해야 합니다. 이 기능을 사용하면 어떤 정보가 보관되었는지 검토하여 의심스러운 항목을 제거할 수 있습니다.
- 필요하지 않으면 메모리를 비활성화하세요: ChatGPT는 자동으로 메모리 기능을 켜두지만, 비활성화하도록 선택할 수 있습니다. 이 접근 방식은 간단하지만 메모리 기반 공격의 위험을 제거하기에 충분히 강력합니다.
- 제3자와의 상호작용에 주의하세요: 연결된 앱을 사용하거나 ChatGPT에 파일을 업로드하는 경우 특히 주의해야 합니다. 이러한 영역은 계속해서 신속한 주입 공격에 더 많이 노출됩니다.
어떠한 시스템도 위협으로부터 완전히 안전할 수는 없지만, 주의를 기울이고 정기적으로 저장된 메모리를 검사하면 이러한 공격의 대상이 될 가능성을 줄일 수 있습니다.
ChatGPT의 메모리 보안 강화
ChatGPT가 개인화된 서비스를 위해 사용자 데이터를 보관하는 것은 강력한 도구를 제공합니다. 이 방법을 사용하면 시스템은 선호 사항을 기억하고, 과거 대화를 회상하고, 심지어 특정 좋아요나 싫어요를 인식하여 더 나은 답변을 만들 수 있습니다. 그러나 이러한 힘은 위험을 초래합니다. ChatGPT는 정보를 장기간 보관하여 즉각적인 주입을 통해 잠재적인 조작에 노출됩니다.
Rehberger는 해커가 한 번의 행동으로 다양한 가짜 기억을 생성할 수 있다고 보고했습니다. 전달된 후 이러한 기억은 ChatGPT에 남아서 AI와의 모든 미래 커뮤니케이션에 영향을 미칠 수 있습니다. 챗봇에 대한 지속적인 신뢰의 가정은 위험할 수 있습니다. 사용자가 실수로 더 많은 개인 정보를 알지 못한 채 공유할 수 있기 때문입니다.
OpenAI는 이러한 과제를 해결하는 데 큰 진전을 이루었지만, 일부 불완전한 의문이 남아 있습니다. 예를 들어, 플랫폼 내의 여러 세그먼트는 특히 제3자의 검증되지 않은 콘텐츠가 논의에 들어올 때 즉각적인 주입 공격의 위험에 여전히 노출되어 있습니다. 이를 ‘보안 취약성’이 아닌 ‘모델 안전 문제’로 분류하기로 한 회사의 결정은 전문가들 사이에서 눈살을 찌푸리게 했습니다.
정기적인 모니터링: 최고의 방어수단
사용자는 숨겨진 메모리 취약성에도 불구하고 정보를 보호하기 위해 추가 조치를 취해야 합니다. 다음은 사용 가능한 몇 가지 옵션입니다.
- 모든 “메모리 업데이트됨” 알림 검사: ChatGPT에서 메모리 업데이트를 알려줄 때마다 일시 중지하여 저장된 내용을 검토합니다. 이 기능은 보관 중인 불필요한 정보를 식별하는 데 도움이 됩니다.
- 원치 않는 기억을 삭제하세요: 사용자는 ChatGPT의 메모리에 대한 완전한 권한을 가지고 있습니다. 이상한 것을 발견하면 잠재적인 손상을 방지하기 위해 제거하세요.
- 타사 도구를 사용하여 경계를 유지하세요: ChatGPT와 타사 애플리케이션 간의 모든 연결을 모니터링합니다. 이러한 도구는 여전히 조작에 취약한데, OpenAI의 노력으로 이러한 영역에서 즉각적인 주입 가능성이 없어지지 않았기 때문입니다.
메모리 해킹: 단순한 버그 이상일까?
ChatGPT에서 발견된 메모리 취약성은 사용자 경험을 향상하도록 설계된 AI 도구가 추가적인 보안 위험을 초래할 수 있음을 보여주었습니다. 메모리 기반 특성은 개인화된 상호작용을 가능하게 하지만 해커가 이러한 상호작용을 악의적인 목적으로 오용할 수 있도록 합니다.
ChatGPT가 진행됨에 따라 사용자는 주의를 기울이고, 저장된 메모리를 지속적으로 확인하고, 외부 콘텐츠에 참여하는 동안 조심해야 합니다. OpenAI가 보안을 크게 개선했지만, 기존 취약성을 해결하기 위한 추가 노력이 필요합니다. 잠재적 위험을 인식하고 사전 조치를 취함으로써 ChatGPT와 개인화된 상호 작용을 하는 동시에 데이터가 안전하게 유지되도록 할 수 있습니다.
추천 이미지 크레딧: 프리픽
Source: ChatGPT 메모리 해킹: AI 보안 취약점으로 인해 신뢰 수준을 재평가해야 함