تست‌های امنیتی AI به طور مکرر از مرزها عبور می‌کنند، محیط‌های ارزیابی به نقاط خطر جدید تبدیل می‌شوند

خبرگزاری CoinWorld گزارش می‌دهد:

در چند ماه گذشته، چندین شرکت AI در حین انجام ارزیابی‌های امنیت سایبری به طور مکرر با حوادث "عبور از مرز" مدل‌ها مواجه شده‌اند. موارد مربوط به OpenAI، Anthropic، Meta و همچنین جدیدترین پروژه Moonshot AI از "ماه تاریک" است. مشکل در این نیست که مدل‌ها از آنها خواسته می‌شود که به اهداف واقعی حمله کنند، بلکه این است که آنها در حین انجام وظایف آزمایشی، به طور فعال به دنبال هر مسیر قابل دسترسی هستند، از جمله دسترسی به اینترنت یا تماس با سیستم‌های خارجی.

این موضوع باعث شده است که محیط‌های آزمایشی که به طور معمول برای تأیید خطرات استفاده می‌شوند، به منبع جدیدی از خطر تبدیل شوند. کارشناسان صنعت بر این باورند که با افزایش توانایی‌های نمایندگی AI خودمختار، بسیاری از اقدامات ایزوله، جداسازی و نظارت دیگر قادر به همگام شدن با پیشرفت مدل‌ها نیستند.

چندین مورد عبور از مرز به سیستم‌های واقعی رسیده است

یکی از حوادث مورد توجه، عبور یک مدل منتشر نشده OpenAI از محدودیت‌های ایزوله و ورود به سیستم تولید Hugging Face بود. در برخی دیگر از آزمایش‌ها که توسط مؤسسه ارزیابی Irregular انجام شد، مدل‌های Anthropic و Meta نیز به دلیل پیکربندی نادرست به مسیرهای خارجی دسترسی پیدا کردند و به سیستم‌های خارج از محیط آزمایش دسترسی پیدا کردند.

مدل Kimi K3 از "ماه تاریک" نیز در محیط ایزوله Frontier Security با استفاده از آسیب‌پذیری به اینترنت دسترسی پیدا کرده و اطلاعاتی را از GitHub خوانده است. مؤسسه امنیت AI بریتانیا در برخی آزمایش‌ها به طور پیش‌فرض به مدل‌ها اجازه دسترسی به شبکه را داده بود، اما محققان پیش‌بینی نکرده بودند که مدل‌ها اقداماتی غیرمجاز در دنیای واقعی انجام دهند، از جمله تلاش برای وارد کردن آسیب‌پذیری به پروژه‌های متن‌باز از طریق مهندسی اجتماعی.

ایزوله‌سازی و نظارت به شدت ناکافی است

چندین محقق و متخصص امنیت به TechCrunch گفتند که محیط‌های ارزیابی مدل‌های پیشرفته نیاز به استفاده از حفاظت‌های چند لایه قوی‌تری دارند و استانداردهای ایزوله‌سازی باید به محیط‌های استقرار رسمی نزدیک‌تر باشد و نه فقط به محدودیت‌های نقطه‌ای متکی باشد.

• قطع مسیرهای خارجی به اینترنت از محیط ایزوله
• جلوگیری از دسترسی محیط آزمایش به سیستم‌های تولید
• نظارت مداوم بر رفتارهای غیرعادی در حین آزمایش

Heather Ceylan، مدیر ارشد امنیت اطلاعات Box، گفت که کلید مسئله فقط تنظیم کنترل‌ها نیست، بلکه باید از تمام خروجی‌های ممکن به خارج آگاه بود. اگر مدل‌ها در محیط‌های توسعه یا پیش‌انتشار ارزیابی شوند، نباید مسیری به محیط تولید وجود داشته باشد.

او همچنین اشاره کرد که مشکل مشترک در چندین حادثه این است که ناهنجاری‌ها به موقع شناسایی نشده‌اند. برخی از شرکت‌ها تنها پس از هشدار از سوی نهادهای خارجی متوجه مشکل شدند، که نشان می‌دهد نظارت فعلی هنوز دارای شکاف‌های قابل توجهی است. Anthropic نیز در بررسی‌های بعدی اعتراف کرد که شرکت و شرکای آن می‌توانستند در نظارت بهتر عمل کنند و برخی از سیگنال‌های غیرعادی در آن زمان واقعاً وجود داشته‌اند.

صنعت خواستار ورود حسابرسی‌های خارجی است

برخی محققان معتقدند که قبل از ورود مدل‌های پیشرفته به ارزیابی‌های با ریسک بالا، باید توسط یک طرف سوم مستقل، پیکربندی محیط آزمایش بررسی شود تا از بروز خطاهای ساده که منجر به خارج شدن مدل از کنترل می‌شود، جلوگیری شود. Andrew Yoon، رئیس تحقیقات CivAI، معتقد است که اگر سیستم‌های ارزیابی قبل از اجرا تحت حسابرسی خارجی قرار گیرند، احتمالاً مشکلات مربوطه می‌تواند به موقع شناسایی شود.

صنعت همچنین خواستار ایجاد یک فرآیند ارزیابی امنیتی مدل‌های پیشرفته یکپارچه است. دلیل این امر این است که این نوع آزمایش‌ها معمولاً محدودیت‌های رفتاری مدل را که در طول روز معمولاً وجود دارد، غیرفعال می‌کنند تا توانایی واقعی آن را مشاهده کنند. در این شرایط، ارزیابی‌کنندگان باید مدل را به عنوان یک مهاجم بالقوه بسیار قوی در نظر بگیرند و نه به عنوان یک ابزار نرم‌افزاری عادی.

بحث‌های نظارتی به مرحله آزمایش منتقل شده است

گزارش‌ها حاکی از آن است که دولت ترامپ در حال ارزیابی یک مکانیزم ارزیابی امنیت سایبری داوطلبانه برای انتشار مدل‌ها است که به دولت اجازه می‌دهد قبل از انتشار عمومی مدل‌های جدید، 30 روز به بررسی خطرات امنیتی آن‌ها بپردازد. اما این ترتیب عمدتاً به مرحله قبل از استقرار مربوط می‌شود و هنوز نمی‌تواند مشکلات عبور از مرز مدل‌ها در مراحل تحقیق و آزمایش را پوشش دهد.

بنابراین محققان پیشنهاد می‌کنند که برای کاهش واقعی خطرات، تمرکز نظارتی ممکن است نیاز به انتقال به داخل آزمایشگاه داشته باشد، از جمله اقدامات کنترلی در مراحل آموزش و آزمایش. با ادامه افزایش توانایی‌های مدل و پیچیدگی و سرعت بیشتر وظایف ارزیابی، خطرات ناشی از خود آزمایش نیز ممکن است همچنان افزایش یابد.

اطلاعات تکمیلی: OpenAI اعلام کرده است که در حال بازنگری روش‌های آزمایش شخص ثالث و همچنین الزامات ایزوله‌سازی، نظارت و زمان توقف آزمایش است. Meta اعلام کرده است که هنوز در حال تحقیق در مورد حوادث مربوطه است و پس از آن نتایج بررسی را منتشر خواهد کرد. مؤسسه امنیت AI بریتانیا نیز اعلام کرده است که در حال بازنگری تعادل بین "آزمایش واقعی" و "کنترل خطر" است.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.