Google은 VaultGemma를 최고의 DP 언어 모델로 출시합니다

2025 년 9 월 12 일, 소프트웨어 엔지니어 인 Amer S와 Google Research의 리서치 과학자 인 Ryan McKenna는 VaultGemma를 발표하여 미분 프라이버시 (DP)로 처음부터 훈련 된 가장 유능한 언어 모델로 표시했습니다. 이 발전은 인공 지능이 일상 생활에 점점 더 침투하여 개인 정보 보호 중심의 설계에 대한 긴급한 요구를 높이면서 중추적 인시기에옵니다. 차별 프라이버시는 모델이 민감한 데이터를 암기하는 것을 방지하기 위해 교정 된 노이즈를 교육 프로세스에 통합하여 이러한 우려를 해결합니다. 그러나 LLMS (Large Language Model)에서 DP를 구현하면 훈련 안정성의 중단, 더 큰 배치 크기의 필요성 및 에스컬레이션 된 계산 비용을 포함하여 중대한 문제가 발생합니다. 이러한 트레이드 오프는 AI 성능을 지배하는 전통적인 스케일링 법을 변경하여 효과적인 개인 AI 개발을위한 역학을 이해해야합니다. 이 발표는 Google DeepMind와 파트너십을 맺고 수행 된 “차별적 개인 언어 모델에 대한 법률 스케일링 법”이라는 제목의 공동 연구 노력을 강조합니다. 이 연구는 컴퓨팅 리소스, 개인 정보 보증 및 모델 유틸리티 사이의 복잡한 트레이드 오프를 모델링하는 정확한 방정식을 설정합니다. 프라이버시 유발 노이즈를 배치 크기로 비교하는 주요 지표 인 노이즈 배치 비율에 중점을 두어 연구는 이러한 요인의 복잡한 상호 작용을 단순화합니다. 핵심 통찰력은 DP 교육 하에서 모델 성능이 주로이 비율에 의해 결정되므로 연구원들은 컴퓨팅, 개인 정보 및 데이터 예산에 대한 제약 조건이 감소하는 교육 손실을 최소화하기위한 최적의 구성을 예측할 수 있다는 것입니다. 이러한 스케일링 법칙을 뒷받침하는 실험은 다양한 모델 크기와 노이즈 배치 비율에 걸쳐 비율의 중심 역할을 확인했습니다. 결과 프레임 워크는 모델 크기, 훈련 반복 수 및 노이즈 배치 비율의 함수로서 손실을 모델링하여 실무자에게 간소화 된 도구를 제공합니다. 이 접근법은 결정 론적 관계와 경험적 데이터를 활용하여 가능한 모든 조합을 테스트하는 지수 복잡성을 극복합니다. 예를 들어, 법률은 고정 된 컴퓨팅 예산, 개인 정보 보호 수준 (Epsilon, ε에서 측정) 및 데이터 볼륨에 대한 최상의 설정을 결정하는 것과 같은 쿼리를 가능하게합니다. 연구에서 눈에 띄는 발견은 예산 간의 시너지 관계입니다. 개인 정보 보호 예산 만 증가하면 컴퓨팅의 확장 (플로팅 포인트 작업 또는 FLOPS) 또는 데이터 (토큰)의 확장이 동반되지 않는 한 소음 배치 비율의 수익을 감소시킵니다. 이 연구의 시각화는 최적의 구성이 어떻게 이동하는지 설명합니다. 개인 정보 보호 제약 조건에서 리소스는 더 큰 모델보다 더 큰 배치 크기를 선호 할 수 있지만 데이터 제한 시나리오에서 더 많은 반복이 바람직 할 수 있습니다. 특히 분석은 설정에서 유연성을 보여줍니다. 다양한 모델 크기는 조정 된 배치 크기 및 반복과 쌍을 이룰 때 비슷한 유틸리티를 제공 할 수 있습니다. DP 교육의 경우 실무 지침이 명확하게 나타납니다. 실무자는 비 DP 기준선에 비해 배치 크기가 상당히 큰 소규모 모델을 선택해야합니다. 이는 노이즈 효과에 대항하기 위해 큰 배치를 강조하는 DP 전문 지식과 일치합니다. 그러나 구성은 개인 정보 및 데이터 예산에 따라 다르므로 신중한 자원 할당의 필요성을 강조합니다. 전체 논문에 자세히 설명 된 이러한 통찰력은 개발자가 개인 정보 및 성과의 균형을 효율적으로 균형을 맞출 수 있도록합니다. 이 프레임 워크를 활용하여 팀은 Gemma 2를 기반으로 한 1 억 개의 파라미터 모델 인 VaultGemma를 제작했으며, 책임과 안전에 중점을 두었습니다. 스케일링 법률은 유틸리티를 최대화하기 위해 배치 크기, 반복 및 시퀀스 길이에 걸친 계산 요구 사항 및 할당을 안내했습니다. 주요 알고리즘 혁신은 Poisson 샘플링을 다루었으며, 이는 확률 적 구배 하강 (DP-SGD)에서 최적의 DP 보장에 필수적입니다. 초기 균일 한 배치는 Poisson 샘플링으로 대체되어 소음을 최소화하면서 강력한 개인 정보를 보장했습니다. 이것은 가변 배치 크기 및 무작위 데이터 순서와 같은 도입이 도입되어 확장 가능한 DP-SGD를 통해 해결되었습니다. 이 방법은 패딩 또는 트리밍을 통해 고정 크기의 배치를 가능하게하여 효율성을 손상시키지 않고 개인 정보를 보존합니다. VaultGemma는 DP로 완전히 미리 훈련 된 최대의 오픈 소스 LLM으로, 포옹 페이스와 Kaggle에서 가중치를 이용할 수 있으며 포괄적 인 기술 보고서가 동반됩니다. 스케일링 법률의 검증은 현저하게 정확한 것으로 판명되었습니다. 이 모델의 최종 교육 손실은 예측과 밀접하게 일치하여 미래의 개인 AI 노력에 대한 프레임 워크의 신뢰성을 확인했습니다. 성능 평가는 VaultGemma를 경쟁적으로 위치시킵니다. 비 개인적인 Gemma 3 1B 모델 및 구형 GPT-2 1.5B 기준선과 비슷한 유틸리티를 달성합니다. 이는 현대 DP 기술이 약 5 년 전부터 비 개인 모델의 기능을 재현하여 리소스 용어로 개인 정보 보험료를 정량화 할 수 있음을 보여줍니다. 다운 스트림 벤치 마크는 Hellaswag, Boolq, Piqa, Socialiqa, Triviaqa, Arc-C 및 Arc-E와 같은 작업에서 비 개인적인 대응과 일치하고 유사한 규모의 GPT-2 기준선을 능가합니다. 이 결과는 도전이 지속되지만 유틸리티 격차를 닫는 데있어 진전을 강조합니다. 개인 정보 보호는 이론적으로 건전하고 경험적으로 검증됩니다. VaultGemma는 이질적인 데이터 소스의 1,024-token 시퀀스에 대해 ε ≤ 2.0 및 δ ≤ 1.1 × 10 ¹⁰의 서열 수준 DP를 제공하여 Gemma 2 훈련 혼합물을 반영합니다. 긴 문서는 시퀀스로 나뉘어지고 짧은 문서는 포장되어 다양한 데이터에서 개인 정보를위한 자연 단위를 제공합니다. 실제로, 개인 사실이 단일 시퀀스로 나타나면, 모델의 출력은 해당 시퀀스에서 훈련받지 않은 것과 통계적으로 구별 할 수 없으며, 단일 시퀀스 영향을 효과적으로 지울 수 있습니다. 여러 시퀀스에 걸쳐있는 사실의 경우 학습이 가능하지만 사용자 수준 DP는 사용자 맵핑 데이터 시나리오에서 보호를 향상시킬 수 있습니다. 경험적 테스트는 이러한 보증을 강화합니다. 훈련 문서에서 50-token 접두사로 모델을 촉구하면 해당 접미사의 감지 가능한 암기를 유발하지 않았으며, 데이터 보유를 중단하는 데있어 DP의 효과를 강조했습니다. 결론적으로 VaultGemma는 강력한 개인 정보 별 디자인 AI의 비전을 발전시킵니다. DP와 비 DP 모델 사이에 유틸리티 격차가 남아 있지만 새로운 스케일링 법률 및 교육 혁신은이를 연결하는 체계적인 경로를 제공합니다. 이 릴리스는 커뮤니티가 안전하고 책임있는 AI를 촉진 할 수있게하며 DP 메커니즘에 대한 지속적인 연구가 추가 이익을 얻을 수 있도록합니다. 이 프로젝트는 Peter Kairouz, Brendan McMahan 및 Dan Ramage의 피드백을 포함하여 Gemma 및 Google 개인 정보 보호 팀의 기여를 인정합니다. Mark Simborg와 Kimberly Schwede의 시각화는 알고리즘, 인프라 및 유지 보수에 대한 Google 팀의 지원으로 시각화되었습니다. 직접 기고자들은 Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, PASINURANGIONUNUNUNURANGIONGIONGION MATHSI Terzis, Tris Warkentin, Da Yu 및 Chiyuan Zhang. 이 이니셔티브는 획기적인 모델을 출시 할뿐만 아니라 개인 AI를 확장하기위한 기본 도구를 제공합니다. 조직이 GDPR 및 Emerging AI 윤리 표준과 같은 데이터 개인 정보 보호 규정에 맞서면서 VaultGemma는 수학적 엄격함이 보호를 통해 혁신을 조화시킬 수있는 방법을 보여줍니다. 공개 가용성은 글로벌 협업을 초대하여 의료, 금융 및 개인 정보가 가장 중요한 개인화 된 서비스와 같은 부문의 채택을 가속화 할 수 있습니다. 스케일링 법률에 대해 더 깊이 파고 들어, 연구는 자연 샘플링 차이를 압도하는 개인 정보 소음으로 인해 소음 배치 비율이 지배적이라고 가정합니다. 이 단순화는 실험에 걸쳐 유지되며, 충실도가 높은 손실 예측을 가능하게합니다. 예를 들어, 고정 된 10^18 플롭 계산 예산 및 ε = 2 개인 정보 보호 수준에서 최적의 설정은 4K 배치 크기와 1m 반복의 500m 패러 매수 모델이 포함되어 최적의 할당보다 약 2.5의 손실이 발생할 수 있습니다. 완전한 훈련없이 개인 정보 보호 회계에서 파생 된 시너지 분석은 중요한 역학을 보여줍니다. 한계 혜택을 플로팅하면 배치 크기를 통해 두 배의 컴퓨팅이 노이즈 배치 비율을 절반으로하여 유틸리티가 개인 정보 보호 예산을 4 배로 향상시키는 것으로 나타났습니다. 이것은 노이즈가 작은 비 효율성을 증폭시키는 DP 체제에서 Compute의 레버리지를 강조합니다. VaultGemma의 교육에서 팀은 1B 매개 변수에 대한 컴퓨팅 최적화를 목표로 삼았으며, 배치 크기 확장 (비 DP의 1K에서 8K), 반복 (총 2M), 10% 더 긴 시퀀스 (1024 토큰)에 대략 60% 할당되었습니다. 확장 가능한 DP-SGD를 통한 Poisson 샘플링 통합 (ε, δ) 경계를 통한 1T 토큰을 처리하는 동안 DP에 대해 이전에는 어려운 스케일입니다. 벤치 마크 세부 사항 성능을 밝힙니다. Hellaswag에서 VaultGemma는 72.1% 정확도를 기록하며 Gemma 3의 72.3%와 GPT-2의 70.8%와 일치합니다. Boolq는 각각 78.5% 대 78.7% 및 75.2%를 나타냅니다. PIQA : 74.2% 대 74.5% 및 71.9%; Socialiqa : 68.4% 대 68.6% 및 65.1%; Triviaqa : 52.3% 대 52.5% 및 48.7%; ARC-C : 45.6% 대 45.8% 및 42.1%; ARC-E : 82.1% 대 82.3% 및 79.5%. Commonsense, QA 및 추론 과제에 걸쳐 이러한 근접성은 광범위한 응용에 대한 DP의 생존력을 확인합니다. 시퀀스 수준 보증은 포장 문서 혼합물에 적합하지만 보고서는 고급 회계사를 통해 사용자 수준에 대한 확장을 기록합니다. 경험적 테스트에는 1,000 개의 임의의 접두사가 포함되었습니다. 제로 접미사는 5-10% 리콜을 보여주는 비 DP 기준선을 대조적으로 대조적으로 (p <0.01), (p <0.01) 일치합니다. 더 넓은 영향은 Enterprise AI로 확장됩니다. DP를 통해 VaultGemma와 같은 모델은 중앙 집중화없이 민감한 데이터에 대한 연합 학습을 가능하게하며, 표현력을 유지하면서 법을 준수합니다. 5 살짜리 비 DP 기술과 일치하는 유틸리티는 빠른 성숙을 신호합니다. 예측은 정제 된 법률을 통해 2-3 년 이내에 현재 기준선과의 패리티를 제안합니다. 장기 텍스트 학습 및 다중 모드 확장에 대한 소음의 영향을 포함한 도전 과제는 남아 있습니다. 그러나 Vaultgemma의 릴리스는 개인 AI를 민주화하여 안전한 챗봇, 익명 분석 및 윤리적 연구 도구의 혁신을 육성합니다. AI의 사회적 발자국이 커짐에 따라 그러한 개인 정보 보호 우선 모델은 필수 불가결 할 것입니다.

Source: Google은 VaultGemma를 최고의 DP 언어 모델로 출시합니다