GPT-5.6، شناسایی 23 مورد از 26 آسیب‌پذیری

مدل Qwen 3.8-Max شرکت علی‌بابا در آزمون شناسایی آسیب‌پذیری‌ها از نظر هزینه رقابت‌پذیری خوبی نشان داد، اما نتایج این مدل در گزارش Aikido گنجانده نشده است. Qwen 3.8-Max در سه بار اجرای آزمون با هزینه 821 دلار به نتایجی مشابه مدل‌های رقیب دست یافت. Aikido در بنچمارکی که در 16 ژوئیه منتشر کرد، 13 مدل هوش مصنوعی را در برابر 26 آسیب‌پذیری CVE آزمایش کرد. GPT-5.6 از میان 26 مورد، 23 مورد را شناسایی کرد و با ثبت 88.5% نرخ بازآفرینی، بهترین عملکرد را داشت. مدل‌های خانواده Claude Oupus بین 15 تا 18 مورد و مدل Grok-4.5 نیز 20 مورد را شناسایی کردند. مدل Kimi K3 که به آزمون اضافه شده بود نیز 23 مورد را شناسایی کرد و به همین دلیل با GPT-5.6 هم‌تراز شد. این آزمون در چارچوب یک هارنس تحلیل کد طراحی شده بود که به هوش مصنوعی اجازه می‌دهد تا به طور واقعی به مخازن کد دسترسی پیدا کند و با روش "pass@3" ارزیابی شد. Aikido تعداد کل پارامترهای Qwen 3.8-Max را 2.4 تریلیون اعلام کرد، اما تعداد پارامترهای فعال منتشر نشده است. بنچمارک Aikido بر روی CVE نرم‌افزارهای عمومی تمرکز داشت و تفسیر آن به عنوان عملکرد امنیتی در حسابرسی بلاک‌چین دشوار است.