비즈니스 데이터 분석은 의사 결정자에게 매우 유용 할 수 있으며 AI가 직장으로의 통합이 더 흔해짐에 따라 많은 팀이 독점 데이터 세트에서 실행 가능한 통찰력을 증류하는 데 도움이되는 LLM을 요청하는 데 가치를보고 있습니다. 이 관행은 확실히 권장되어야하지만 데이터 보안 및 개인 정보를 보존하기 위해 신중하게 처리해야합니다.
Embuta AI Security and Governance Report에 따르면, 데이터 전문가의 80%가 AI가 데이터 보안을 더욱 어렵게 만들고 있다는 데 동의합니다. 또한 데이터 전문가의 88%가 조직의 직원이 AI를 사용하고 있다고 말하지만 50%만이 조직의 데이터 보안 전략이 AI의 진화율을 따라 잡고 있다고 응답했습니다.
주요 문제는 사람들이 보안을 고려하지 않고 진행중인 워크 플로의 일부로 데이터를 LLM에 종종 보내는 것입니다. 많은 조직에서는 “Shadow AI”로 알려진 현상에서 AI가 사용되는 것에 대한 기본 모니터링 또는 가시성이 부족합니다.
데이터 전문가의 56%에 대한 AI에 대한 주요 관심사는 AI 프롬프트를 통한 민감한 데이터 노출의 위험입니다. 신속한 유출이 발생하려면 두 가지 요소가 있어야합니다. 사용자 입력 (직원이 업로드 한 민감한 데이터) 및 모델 출력 (LLM이 사전 상호 작용 또는 교육 데이터를 기반으로 다른 사람에게 기밀 정보를 생성하거나 공개 할 때).
이 누출은 2025 년 1 월의 심해 사고에서 볼 수 있듯이 수백만 줄의 채팅 로그, API 키 및 기타 민감한 정보가 노출되어 많은 조직에 영향을 미쳤습니다. 비슷한 사건이 개발 초기에 Chatgpt와 비슷한 사건이 발생했습니다.
LLM을 사용할 때 조직이 데이터 유출을 방지 할 수있는 5 가지 방법은 다음과 같습니다.
1. AI에 데이터에 직접 액세스하지 마십시오
LLM은 프로덕션 데이터베이스 또는 민감한 시스템에 직접 연결해서는 안됩니다. 이렇게하면 Deepseek 유출과 같은 상황에서 당신을 보호합니다. 누출이 있더라도 AI가 원시 데이터에 대한 액세스를 얻지 못한 경우 민감한 데이터를 노출 할 수 없습니다. 이에 접근하는 가장 좋은 방법은 쿼리가 LLM에 전달되기 전에 데이터를 가리는 계층을 구축하는 것입니다.
피라미드 분석은 출력의 품질을 손상시키지 않고 AI 계층을 실제 데이터와 분리하는 의사 결정 인텔리전스 솔루션입니다. 작동 방식은 사용자가 Pyramid의 AI 챗봇에게 BI 질문을 요청하면 엔진이 데이터에 대한 설명과 함께 사용자 선택의 외부 AI 모델에 고급 버전의 질문을 보냅니다.
그런 다음 피라미드는 자신의 환경 내에서 쿼리를 실행하고 대화식 대시 보드, 차트 또는 보고서의 형태로 결과를 반환합니다. LLM은 조직의 데이터와 직접 상호 작용하지 않지만 여전히 AI 구동 통찰력의 전체 이점을 얻습니다.
2. 강력한 액세스 제어를 구현하십시오
LLM에 대한 액세스는 특히 대규모 조직에서 무료로되어서는 안됩니다. LLM을 사용할 수있는 사람, 상황 및 어떤 조건 하에서 누가 LLM을 사용할 수 있는지 정의하는 명확한 정책이 필요합니다. 데이터 및 모델 액세스에 대한 적절한 제한으로 구현 된 직원 역할에 따라 액세스를 부여해야합니다.
역할 기반 액세스 컨트롤 (RBAC)은 현대 보안 프로그램의 필수 구성 요소 인 최소 특권의 원칙을 직접 지원합니다. 이 원칙은 사용자, 모델 및 연결된 도구가 작업을 수행하는 데 필요한 최소 액세스 및 기능 만 갖도록합니다.
성숙한 AI 조직은 MCP (Model Context Protocol) 서버를 사용할 수도 있습니다.이를 통해 팀은 AI 쿼리를 API 통화 또는 데이터베이스 조회와 같은 작업으로 변환하여 LLMS가 외부 리소스와 상호 작용하는 방식을 제어 할 수 있습니다. MCP 서버는 정기적으로 민감한 시스템 및 데이터와 상호 작용하므로 신뢰 제로 원칙으로 구성되어야합니다. 이는 모든 요청을 검증하고 모든 활동을 기록하는 것을 의미합니다.
3. 프롬프트 엔지니어링을 다시 생각하십시오
프롬프트는 모든 사용자가 LLM과 상호 작용하는 방법입니다. 보안을 염두에두고 설계되지 않으면 프롬프트는 심각한 취약성이됩니다. AI 시스템은 합법적 인 프롬프트를 유해한 프롬프트와 구별 할 수 있어야합니다. 이를 달성하기위한 두 단계가 있습니다.
첫 번째 단계는 모든 들어오는 프롬프트에 대한 유효성 검사 규칙을 구현하는 것입니다.이 프롬프트는 임베디드 명령 (예 : 해커가 SQL 주입에 사용할 수있는 유형) 또는 시스템 지침을 무시하려는 시도를 포함하여 의심스러운 패턴을 확인하는 것입니다. 입력 유효성 검사 및 소독은 웹 보안의 표준 관행이며 이제 동일한 방식으로 AI 시스템에 적용해야합니다.
더 많은 보호를 위해 조직은 LLM Guard와 같은 도구를 배포 할 수 있습니다. LLM Guard와 같은 전용 주입 스캐너 분석 프롬프트를 실시간으로 사용하고 규칙 기반 필터가 놓칠 수있는 고급 조작 시도를 포착 할 수 있습니다.
4. AI 출력 및 사용을 기록하고 모니터링합니다
LLM은 비즈니스의 다른 기술처럼 취급되어야합니다. 많은 조직이 랩톱과 응용 프로그램 사용을 모니터링하며 AI 모델은 많은 감독이 필요합니다.
질문하는 내용, 어떤 응답이 생성되고 있는지, 누가 모델과 상호 작용하는지 추적하십시오. 이로 인해 부적절한 사용 또는 정책 위반이 발생하지만 데이터 유출로 이어질 수있는 모델과 관련된 문제도 발생합니다.
이러한 조치의 목표는 감시가 아니라 LLM이 운영되고 안전하게, 윤리적으로, 의도 한대로 사용되고 있는지 확인합니다. 결국, 민감한 데이터에 닿는 비즈니스 시스템이므로 하나처럼 취급해야합니다.
5. LLM 위험에 대해 직원을 훈련시킵니다
가장 제한적인 보안 제어가 있어도 직원은 여전히 위험을 초래할 수 있습니다. 지나치게 민감한 데이터를 모델과 공유하거나 승인되지 않은 AI 도구에 의존하거나 LLM이 생성하는 모든 것을 사실로 가져갈 수 있습니다.
이 문제를 해결하기 위해 Ninjio와 같은 인식 교육 플랫폼은 이제 LLM 사용과 관련된 다양한 모범 사례 및 위험에 대해 직원들을 훈련시키고 교육하는 AI 특정 모듈을 제공합니다. 직원은 민감한 정보 공유를 피하거나 검출되지 않은 AI 도구를 사용하는 법을 배우고 행동하기 전에 AI 생성 출력을 평가합니다.
외부 공급자 또는 사내 이니셔티브를 통해 AI 주변의 보안 교육은 의미있는 방식으로 LLM을 구현하려는 모든 조직에 필수입니다.
최종 생각
LLM은 강력하지만 비교적 미숙 한 기술입니다. 사용 및 개발과 관련하여 보안 관행을 표준화하려는 노력에도 불구하고 여전히 조직에 많은 위험이 있으며, 이로 인해 데이터 유출이 발생할 수 있습니다.
이런 이유로 LLM 구현의 모든 계층에 보안이 내장되어야합니다. 이 기사에서 논의 된 조치는 LLM을 안전하고 책임감있게 통합하기위한 탄탄한 토대를 제공합니다.
주요 이미지 크레딧
