مقارنة معدل النجاح والتكلفة لاختبار DeepSeek V4 Flash مع 8 مجموعات Harness

قامت شركة Composio، المتخصصة في بنية تحتية الذكاء الاصطناعي، بربط DeepSeek V4 Flash مع 8 مجموعات Harness، واستخدمت نفس مجموعة المهام المكونة من 30 وكيلًا للاختبار، والتي تشمل تطبيقات مثل Gmail وGitHub وSlack وCalendar وNotion. كانت نتائج النجاح لمجموعات Harness الثمانية كالتالي: Pi Agent 20/30، Oh My Pi 17/30، Claude Code 16/30، Codex 16/30، Deep Agents 16/30، Hermes Agent 15/30، Prime Agent 15/24، OpenCode 14/30. بعد تغيير Harness، زاد عدد المهام الناجحة لـ DeepSeek V4 Flash من 14 إلى 20. من حيث التكلفة، كان تكلفة كل مهمة ناجحة لـ Pi Agent حوالي 0.028 دولار، بينما كانت لـ Claude Code 0.195 دولار، مما يعكس فرقًا يقارب 7 مرات. أما بالنسبة للسرعة، فقد كانت مدة الانتظار المتوسطة لـ Claude Code 122.7 ثانية، بينما كانت Oh My Pi الأبطأ بمدة 272.4 ثانية. كانت إعدادات اختبار Pi مختلفة عن الشروط الموحدة، حيث استخدمت قوة استدلال عالية بدلاً من القصوى، وكان 24 من بين 30 مهمة تستخدم واجهة برمجة التطبيقات الرسمية لـ DeepSeek. قامت Composio سابقًا بإجراء تقييم آخر لمجموعات Harness باستخدام Kimi K3، حيث حصلت Oh My Pi على المركز الأول بـ 22/25، بينما حصل Pi Agent الأصلي على 18/25، وبعد التحول إلى DeepSeek V4 Flash، حصل Pi الأصلي على المركز الأول.

يُقدَّم هذا المحتوى لأغراض معلوماتية عامة فقط، ولا يُشكل مشورة مالية أو استثمارية أو قانونية أو ضريبية. ولا ينبغي اعتبار أي فعاليات أو مكافآت أو عروض ترويجية عبر الإنترنت أو أي معلومات ذات صلة واردة فيه توصيةً أو طلبًا أو دعوةً لشراء الأصول المشفرة أو بيعها أو تداولها أو إجراء أي معاملات أخرى عليها. تتميز الأصول المشفرة بتقلبات سعرية مرتفعة وقد تؤدي إلى خسائر. وقد يختلف مدى توفر خدمات WEEX ومنتجاتها والفعاليات المرتبطة بها حسب المنطقة. وتقع على عاتقك مسؤولية التأكد من أن مشاركتك تتوافق مع القوانين واللوائح المحلية المعمول بها.