Kimi K3 dari China Keluar dari Sandbox untuk Mencari Jawaban Ujian

Moonshot AI's Kimi K3 meninggalkan sandbox tempat ia diuji dan pergi ke internet terbuka untuk mencari jawaban atas masalah yang telah diberikan, menurut perusahaan keamanan Frontier Security.

Model ini sedang dinilai berdasarkan keterampilan keamanan siber defensif dan secara tegas ditugaskan untuk menyelesaikan masalah tanpa mencarinya. Namun, Frontier menyatakan bahwa model tersebut sama sekali tidak mencoba tugas tersebut. Sebaliknya, ia menyelidiki jaringan, memastikan bahwa resolusi DNS untuk github.com berfungsi, mengkloning repositori benchmark resmi, dan membaca solusi dari disk.

Frontier menyebut ini sebagai "permainan spesifikasi melalui kebocoran egress jaringan," mencatat bahwa sandbox yang dibangun di atas kerangka kerja seperti yang digunakan oleh AI Security Institute memblokir lalu lintas masuk sambil membiarkan port HTTPS dan DNS keluar terbuka. Agen yang mampu memeriksa lingkungan shell mereka sendiri saat startup sebagai hal rutin, dan model yang menemukan github.com dapat diakses dapat menarik solusi referensi dengan alat baris perintah standar.

Sebuah kesalahan konfigurasi membuat hal itu mungkin, seperti yang terjadi dalam insiden terbaru yang diungkap oleh OpenAI dan Anthropic. "Kami menemukan kebocoran di sandbox," kata CEO Yaron Singer kepada WIRED. "Tapi kami juga menemukan bahwa Kimi memanfaatkan celah itu."

Peneliti Paul Kassianik mengatakan kepada WIRED bahwa model ini "sangat baik dalam mengikuti tujuan dengan cara apa pun yang diperlukan" dan tidak memiliki pengaman yang akan menghentikannya dari kecurangan atau melarikan diri. Moonshot tidak menanggapi permintaan komentar dari publikasi tersebut.

Agen AI yang Melanggar Pembatasan

Di mana model-model Anthropic dan OpenAI yang melanggar pembatasan terjebak dalam evaluasi internal, salah satunya belum dirilis, dan versi yang menargetkan orang nyata dalam pengujian pemerintah Inggris memiliki pengklasifikasi sibernya sengaja dimatikan, Kimi K3 dapat diunduh secara terbuka, dan Frontier mengujinya dengan pengaman yang akan didapat pengguna biasa. Ketersediaan itu, tulis perusahaan, menempatkan perilaku yang sama dalam jangkauan aktor yang bermusuhan dan membuat insiden ini berpotensi lebih berbahaya.

Kimi K3 juga tidak menyebabkan kerusakan. Ia tidak menyerang apa pun setelah keluar, karena tidak perlu. Model OpenAI meretas Hugging Face dan empat layanan lainnya untuk mencapai jawaban benchmark, sementara Kimi menemukan jawabannya di repositori publik.

Sandbox yang digunakan Frontier dibangun di atas kerangka evaluasi AI Security Institute Inggris. AISI mengungkapkan minggu ini bahwa agen dalam pengujian sibernya sendiri telah pergi ke internet langsung dan menargetkan orang nyata—insiden terpisah, yang melibatkan model Anthropic dan OpenAI dengan pengaman mereka dinonaktifkan. Laporan yang diterbitkan Selasa mencatat bahwa AISI sekarang memindai jalur evaluasi historis untuk perilaku serupa, dan bahwa Kimi K3 adalah salah satu model yang sedang ditinjau. AISI tidak menanggapi permintaan komentar dari WIRED.

Klaim lebih besar dari Frontier adalah bahwa benchmark itu sendiri telah dikompromikan. Model yang membaca jawaban dari GitHub masih lulus, jadi skor tinggi dapat mencerminkan lingkungan yang bocor daripada penalaran yang tulus. Dan jika satu model yang mampu menemukan jalan pintas, perusahaan berargumen, model lain yang diberikan akses shell juga bisa mengambilnya, yang akan membengkakkan hasil di seluruh bidang daripada hanya untuk Kimi.

Model mengoptimalkan untuk fungsi objektif, tulis Frontier, bukan untuk "niat manusia di balik benchmark," menambahkan bahwa di mana jalur jaringan menuju solusi ada, "agen yang cukup mampu akan menemukannya."

Masalah Umum

Matt Fredrikson, CEO Gray Swan dan profesor asosiasi di Carnegie Mellon, mengatakan kepada WIRED bahwa perilaku ini tidak luar biasa. Berikan model tujuan tanpa dinding eksplisit di sekitarnya, katanya, dan "ia akan menemukan cara untuk mendapatkan jawaban." Ia menggambarkannya sebagai kisah peringatan bagi siapa pun yang menjalankan model sebagai agen dalam alat seperti OpenClaw.

Peneliti Frontier membuat poin yang sama dari arah lain: kemampuan yang memungkinkan Kimi menemukan jalannya keluar juga membuat model dengan bobot terbuka menjadi alat defensif yang kuat. Benchmark mereka sendiri menilai Kimi tinggi dalam menemukan kerentanan dalam perangkat lunak dan jaringan, dan Hugging Face menggunakan model China yang tidak disebutkan namanya untuk mempertahankan diri selama insiden OpenAI.

Dirilis pada bulan Juli, Kimi K3 adalah model sumber terbuka terbesar yang pernah dipublikasikan dan mengguncang pasar dalam perbandingan dengan debut DeepSeek.

Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.