7 Agen AI Mengklasifikasikan dan Memperbaiki Kesalahan di Bitcoin, Apa yang Ditemukan?

• Model Qwen 3.8, GPT 5.6, dan Fable gagal: satu terhenti dan dua menolak untuk bekerja.
• 4 dari 7 model yang diuji adalah open source dan dapat digunakan tanpa filter.

Paul Miller, pengembang yang memelihara pustaka kriptografi yang digunakan dalam proyek Bitcoin dan Ethereum, menguji 7 agen kecerdasan buatan (AI) untuk mengklasifikasikan dan memperbaiki 5 kerentanan keamanan nyata yang dilaporkan oleh kelompok Bitcoin Red Team. Hasilnya menunjukkan perbedaan mencolok antara model-model tersebut, baik dalam pengeluaran dolar yang diperlukan untuk menjalankan masing-masing maupun dalam akurasi diagnosis mereka.

Dari 7 agen yang dievaluasi, 3 tidak berhasil menyelesaikan tugas. Qwen 3.8 dari Alibaba terhenti selama proses, tanpa alasan yang dinyatakan oleh Miller. GPT-5.6 Sol dari OpenAI dan Fable dari Anthropic langsung menolak untuk bekerja pada kode tersebut, menurut Miller sendiri, meskipun tugasnya adalah mengidentifikasi dan memperbaiki kesalahan, bukan mengeksploitasinya.

4 agen yang berhasil menyelesaikan pekerjaan, Grok 4.6 (xAI), Kimi K3 (Moonshot AI), DeepSeek V4 Pro, dan DeepSeek V4 Flash (DeepSeek), memiliki pengeluaran dolar yang sangat bervariasi untuk konsumsi token (instruksi pengguna) saat menjalankannya:

• Grok 4.6 menghabiskan 4,70 dolar untuk konsumsi komputasi.
• DeepSeek V4 Pro menghabiskan 0,30 dolar untuk tugas yang sama, perbedaan 15,7 kali (hampir 1500%) antara model termahal dan yang paling ekonomis untuk dijalankan.

Waktu yang dibutuhkan juga bervariasi secara signifikan. DeepSeek V4 Pro menyelesaikan pekerjaannya dalam 30 menit, Kimi K3 dalam 40 menit, dan Grok 4.6 dalam 1 jam, sementara DeepSeek V4 Flash membutuhkan 3 jam, enam kali (500%) lebih lama daripada DeepSeek V4 Pro untuk tugas yang sama.

Menurut Miller, hanya Grok 4.6 yang sejalan dengan penilaiannya sendiri tentang tingkat keparahan 5 kerentanan.

3 agen lainnya yang menyelesaikan pekerjaan (Kimi K3, DeepSeek V4 Pro, dan DeepSeek V4 Flash) melebih-lebihkan tingkat keparahan kesalahan yang ditemukan, sesuatu yang, menurut Miller sendiri, akhirnya mempengaruhi kualitas keseluruhan hasil yang diberikan oleh ketiga model tersebut.

Uji coba Miller terjadi di tengah gelombang serangan yang menggunakan kecerdasan buatan untuk mempercepat pencarian dan eksploitasi kerentanan keamanan dalam ekosistem Bitcoin.

Dalam beberapa minggu terakhir, Coldcard, Boltz, ZEUS, BTCPay Server, dan LNP2Pbot mengalami insiden keamanan terkait dengan kerentanan yang diidentifikasi dan dieksploitasi oleh penyerang dengan bantuan model AI. Tidak ada dari kasus ini yang mempengaruhi protokol Bitcoin itu sendiri, tetapi produk dan layanan yang beroperasi di luar jaringan.

Gelombang insiden ini mendorong Bitcoin Red Team, sekelompok pengembang yang didedikasikan untuk mencari kerentanan keamanan dalam proyek open source Bitcoin, untuk meluncurkan audit besar-besaran yang dibantu oleh AI terhadap ekosistem.

Audit Bitcoin Red Team telah mencakup lebih dari 300 repositori open source, dan dari pekerjaan itu muncul 5 kerentanan yang digunakan Miller sebagai dasar untuk ujiannya sendiri terhadap 7 agen AI, di antara 8.000 kesalahan lainnya yang ditemukan oleh kelompok peneliti tersebut, seperti yang dilaporkan oleh CriptoNoticias.

Dari 7 agen yang diuji Miller, 4 adalah open source, Kimi K3, DeepSeek V4 Pro, DeepSeek V4 Flash, dan Qwen 3.8. Ini berarti bahwa perusahaan yang melatih mereka mempublikasikan parameter mereka secara publik, yang memungkinkan pengguna mana pun untuk mengunduh dan menjalankannya di perangkat mereka sendiri, tanpa bergantung pada persetujuan perusahaan tersebut.

3 agen lainnya, Grok 4.6, GPT-5.6 Sol, dan Fable, adalah tertutup, sehingga hanya dapat digunakan melalui platform atau antarmuka pemrograman aplikasi (API) dari perusahaan yang mengembangkannya.

Perbedaan antara model open source dan tertutup ini relevan untuk keamanan ekosistem Bitcoin. Dengan dijalankan di server masing-masing perusahaan, model tertutup memungkinkan penciptanya untuk mempertahankan filter keamanan aktif, seperti yang menyebabkan GPT-5.6 Sol dan Fable menolak untuk bekerja pada kerentanan dalam uji ini.

Model open source, di sisi lain, dapat dijalankan di komputer lokal dan dimodifikasi oleh pengguna mana pun, yang memungkinkan penghapusan filter keamanan tersebut. Seorang penyerang dapat menggunakan versi tanpa batasan dari salah satu model ini untuk membantu serangan nyata terhadap platform dalam ekosistem Bitcoin, sesuatu yang tidak dapat dicegah oleh filter eksternal mana pun.

Uji coba Miller menunjukkan bahwa, terlepas dari kemajuan kecerdasan buatan dalam mendeteksi kerentanan, masih ada perbedaan signifikan antara berbagai model dalam hal mengklasifikasikan dan memperbaikinya dengan akurasi, baik dalam pengeluaran dolar yang diperlukan untuk masing-masing maupun dalam kriteria yang mereka terapkan.

Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.