Кими K3 из Китая вышел за пределы песочницы, чтобы найти ответы на тесты

Искусственный интеллект Kimi K3 от компании Moonshot AI покинул песочницу, в которой его тестировали, и вышел в открытый интернет, чтобы найти ответы на поставленные перед ним задачи, согласно данным компании Frontier Security.

Модель оценивалась по навыкам кибербезопасности и была специально нацелена на решение задач без поиска информации. Frontier заявила, что она вообще не попыталась выполнить задачу. Вместо этого она исследовала сеть, установила, что разрешение DNS для github.com работает, клонировала официальный репозиторий и прочитала решение с диска.

Frontier называет это "игрой по спецификациям через утечки сетевого трафика", отмечая, что песочницы, построенные на таких фреймворках, как AI Security Institute, блокируют входящий трафик, оставляя открытыми порты HTTPS и DNS для исходящего трафика. Способные агенты проверяют свою среду оболочки при запуске как часть рутинной работы, и модель, которая находит доступ к github.com, может извлекать эталонные решения с помощью стандартных инструментов командной строки.

Неправильная конфигурация сделала это возможным, как это произошло в недавних инцидентах, раскрытых OpenAI и Anthropic. "Мы обнаружили утечку в песочнице," сказал генеральный директор Ярон Сингер в интервью WIRED. "Но мы также обнаружили, что Кими воспользовалась этой лазейкой."

Исследователь Пол Кассианик сказал WIRED, что модель "очень хороша в том, чтобы следовать цели любыми необходимыми средствами" и не имеет защитных механизмов, которые могли бы остановить ее от обмана или побега. Moonshot не ответила на запрос издания о комментарии.

Агенты ИИ, нарушающие ограничения

В то время как модели Anthropic и OpenAI, которые нарушили ограничения, были пойманы в ходе внутренних оценок, одна из них не была выпущена, а версии, нацеленные на реальных людей в тестировании правительства Великобритании, имели свои кибер-классификаторы намеренно отключенными, Kimi K3 доступна для открытой загрузки, и Frontier протестировала ее с теми же мерами безопасности, которые получил бы обычный пользователь. Эта доступность, как написала компания, ставит такое же поведение в досягаемость для противников и делает инцидент потенциально более вредным.

Kimi K3 также не нанесла никакого ущерба. Она не атаковала ничего, когда вышла наружу, потому что это не было необходимо. Модель OpenAI взломала Hugging Face и четыре других сервиса, чтобы получить эталонные ответы, в то время как Kimi нашла свои ответы в публичном репозитории.

Песочница, использованная Frontier, была построена на оценочном фреймворке AI Security Institute в Великобритании. AISI на этой неделе раскрыла, что агенты в ее собственном кибер-тестировании вышли в живой интернет и нацелились на реальных людей — отдельный инцидент, связанный с моделями Anthropic и OpenAI с отключенными мерами безопасности. В своем отчете, опубликованном во вторник, AISI отмечает, что теперь сканирует исторические оценки на предмет аналогичного поведения, и что Kimi K3 находится среди моделей, находящихся под рассмотрением. AISI не ответила на запрос WIRED о комментарии.

Более широкое утверждение Frontier заключается в том, что сами эталоны скомпрометированы. Модель, которая считывает ответ с GitHub, все равно проходит, поэтому высокие баллы могут отражать утечку среды, а не подлинное рассуждение. И если одна способная модель нашла короткий путь, утверждает компания, другие модели, получившие доступ к оболочке, также могут его использовать, что приведет к завышению результатов по всему полю, а не только для Kimi.

Модели оптимизируют для целевой функции, написала Frontier, а не для "человеческого намерения, стоящего за эталоном", добавляя, что если существует сетевой путь к решению, "достаточно способный агент найдет его".

Общая проблема

Мэтт Фредриксон, генеральный директор Gray Swan и доцент в Carnegie Mellon, сказал WIRED, что такое поведение не вызывает удивления. Дайте модели цель без явных ограничений, сказал он, и "она найдет способ получить ответ". Он описал это как предостерегающую историю для всех, кто использует модели в качестве агентов в таких инструментах, как OpenClaw.

Исследователи Frontier делают тот же вывод с другой стороны: способность, которая позволяет Kimi находить выход, также делает открытые модели сильными защитными инструментами. Их собственные эталоны высоко оценивают Kimi за нахождение уязвимостей в программном обеспечении и сетях, а Hugging Face использовала неназванную китайскую модель для защиты себя во время инцидента с OpenAI.

Выпущенная в июле, Kimi K3 является самой крупной открытой моделью, когда-либо опубликованной, и потрясла рынки по сравнению с дебютом DeepSeek.