اولین مدل هوش مصنوعی گوگل با تمرکز بر حریم خصوصی رونمایی شد

یک مدل آزمایشی است که نشان می‌دهد می‌توان هوش مصنوعی قدرتمندی ساخت که کمتر احتمال دارد داده‌های حساس آموزشی خود را به خاطر بسپارد و ناخواسته بازگو کند. این پیشرفت می‌تواند نحوه نگرش گوگل و سایر شرکت‌ها به مقوله حریم خصوصی در محصولات آینده هوش مصنوعی را تغییر دهد.

هوش مصنوعی VaultGemma گوگل

یکی از بزرگ‌ترین خطرات مدل‌های زبانی بزرگ این است که گاهی اوقات به‌جای تولید محتوای جدید، بخش‌هایی از داده‌های آموزشی خود را کلمه‌به‌کلمه تکرار می‌کنند. اگر این داده‌ها شامل اطلاعات شخصی کاربران یا محتوای دارای کپی‌رایت باشد، می‌تواند به نقض حریم خصوصی یا مشکلات حقوقی جدی منجر شود.

راه‌حل گوگل برای این مشکل، استفاده از تکنیکی به نام Differential Privacy است. این روش با تزریق نویز یا اختلالات حساب‌شده در طول فرایند آموزش، از به‌ خاطرسپردن جزئیات دقیق توسط مدل جلوگیری می‌کند. بااین‌حال، این تکنیک همیشه یک مسئله بزرگ داشته است؛ افزودن نویز باعث کاهش دقت مدل و افزایش نیاز به توان محاسباتی می‌شود.

موفقیت اصلی تیم تحقیقاتی گوگل در این بود که برای اولین‌بار «قوانین مقیاس‌پذیری» را برای این مدل‌های خصوصی کشف کردند. آن‌ها فرمولی را برای ایجاد یک تعادل بهینه بین سه عامل مهم تعریف کردند: بودجه حریم خصوصی (میزان نویز)، بودجه محاسباتی (قدرت پردازش) و بودجه داده (حجم داده‌های آموزشی). این امر به توسعه‌دهندگان اجازه می‌دهد تا با کارایی بیشتری منابع خود را برای ساخت مدل‌های خصوصی تخصیص دهند.

گوگل می‌گوید از این تکنیک احتمالاً در مدل‌های غول‌پیکر و همه‌منظوره که در آن‌ها عملکرد حداکثری حرف اول را می‌زند، استفاده نخواهد شد. در عوض، این تکنیک برای مدل‌های کوچک‌تر و هدفمند که قابلیت‌های خاصی را در محصولات (مانند خلاصه‌سازی ایمیل‌ها یا پیشنهاد پاسخ‌های بهتر) ارائه می‌دهند، بسیار مناسب‌تر است.

VaultGemma یک مدل وزن‌باز (open-weight) است که برپایه مدل Gemma 2 ساخته شده است. این مدل با فقط ۱ میلیارد پارامتر در مقایسه با غول‌های امروزی نسبتاً کوچک محسوب می‌شود. این مدل درحال‌حاضر برای دانلود در پلتفرم‌های Hugging Face و Kaggle در دسترس است.