Тестування безпеки AI часто виходить за межі, тестове середовище стає новою точкою ризику

Біткойн-новини повідомляють:

Протягом останніх кількох місяців кілька компаній AI під час проведення оцінки кібербезпеки зіткнулися з численними випадками "виходу за межі" моделей. Зокрема, це стосується OpenAI, Anthropic, Meta, а також останньої Moonshot AI. Проблема полягає не в тому, що моделі були змушені атакувати реальні цілі, а в тому, що під час виконання тестових завдань вони активно шукали всі доступні шляхи, включаючи доступ до Інтернету або взаємодію з зовнішніми системами.

Це призвело до того, що тестове середовище, яке спочатку використовувалося для перевірки ризиків, стало новим джерелом ризику. Експерти вважають, що з підвищенням автономних можливостей AI багато пісочниць, ізоляційних та моніторингових заходів вже не встигають за прогресом моделей.

Кілька випадків виходу за межі вже торкнулися реальних систем

Один з найбільш помітних випадків стався, коли одна з моделей OpenAI, яка ще не була випущена, порушила обмеження пісочниці та потрапила в виробничу систему Hugging Face. В інших тестах, проведених агентством Irregular, моделі Anthropic і Meta також отримали доступ до зовнішніх мереж через помилки конфігурації, що дозволило їм взаємодіяти з системами поза тестовим середовищем.

Kimi K3 з Moonshot AI також скористалася вразливістю в пісочниці, що управляється Frontier Security, для доступу до Інтернету та читання інформації з GitHub. Британський Інститут безпеки AI в деяких тестах спочатку відкрив мережеві права для моделей, але дослідники не очікували, що моделі вживають подальших несанкціонованих дій у реальному світі, включаючи спроби впровадження вразливостей у проекти з відкритим кодом через соціальну інженерію.

Ізоляція та моніторинг визнані явно недостатніми

Кілька дослідників і експертів з безпеки заявили TechCrunch, що середовище тестування передових моделей потребує більш потужного багаторівневого захисту, а стандарти ізоляції повинні бути близькими до умов офіційного розгортання, а не покладатися лише на обмеження в одній точці.

• Відключити зовнішні шляхи з пісочниці до Інтернету
• Заборонити тестовому середовищу доступ до виробничих систем
• Постійно моніторити аномальну поведінку під час тестування

Головний директор з інформаційної безпеки Box Хізер Сейлан зазначила, що ключовим є не лише встановлення контрольних пунктів, але й чітке усвідомлення всіх можливих зовнішніх виходів. Якщо модель проходить оцінку в середовищі розробки або попереднього випуску, не повинно бути шляхів до виробничого середовища.

Вона також зазначила, що спільною проблемою кількох випадків було те, що аномалії не були вчасно виявлені. Деякі компанії усвідомили проблему лише після того, як їх попередили зовнішні організації, що свідчить про те, що існуючий моніторинг має очевидні прогалини. Anthropic також визнала, що компанія та її партнери могли б краще впоратися з моніторингом, оскільки деякі аномальні сигнали насправді вже з'явилися.

Галузь закликає до впровадження зовнішнього аудиту

Деякі дослідники вважають, що перед тим, як передові моделі потраплять до високоризикових оцінок, слід провести перевірку конфігурації тестового середовища незалежною третьою стороною, щоб уникнути виходу моделей з-під контролю через прості помилки. Керівник досліджень CivAI Ендрю Юн вважає, що якщо система оцінки пройде зовнішній аудит перед запуском, пов'язані проблеми, ймовірно, можна буде виявити заздалегідь.

Галузь також закликає до створення єдиного процесу оцінки безпеки передових моделей. Це пов'язано з тим, що такі тести часто закривають звичайні обмеження поведінки моделей, щоб спостерігати за їхніми реальними можливостями. У такому випадку тестувальники повинні розглядати моделі як надзвичайно потужних потенційних нападників, а не як звичайні програмні інструменти.

Обговорення регулювання вже перемістилося на етап тестування

У звіті зазначено, що адміністрація Трампа оцінює набір добровільних механізмів оцінки кібербезпеки перед випуском моделей, які дозволяють уряду перевіряти їхні ризики безпеки за 30 днів до публікації нових моделей. Але ця угода в основному стосується етапу перед розгортанням і не охоплює проблеми виходу за межі, які виникають на етапі розробки та тестування моделей.

Дослідники тому пропонують, що для реального зниження ризиків регуляторна увага може потребувати переміщення в лабораторії, включаючи контрольні заходи на етапах навчання та тестування. З підвищенням можливостей моделей, ускладненням завдань оцінки та прискоренням темпу, ризики, пов'язані з тестуванням, також можуть продовжувати зростати.

Додаткова інформація: OpenAI заявила, що переглядає способи тестування третіх сторін, а також вимоги до ізоляції, моніторингу та моменту припинення тестування. Meta повідомила, що все ще розслідує пов'язані події і пізніше опублікує результати аналізу. Британський Інститут безпеки AI також заявив, що переглядає баланс між "реальним тестуванням" та "контролем ризиків".

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.