مقایسه نرخ موفقیت و هزینه 8 مجموعه Harness در آزمایش DeepSeek V4 Flash

شرکت زیرساخت هوش مصنوعی Composio، DeepSeek V4 Flash را به 8 مجموعه Harness متصل کرد و با استفاده از یک دسته 30 وظیفه Agent آزمایشاتی انجام داد که شامل برنامه‌هایی مانند Gmail، GitHub، Slack، Calendar و Notion بود. وضعیت موفقیت 8 مجموعه Harness به شرح زیر است: Pi Agent 20/30، Oh My Pi 17/30، Claude Code 16/30، Codex 16/30، Deep Agents 16/30، Hermes Agent 15/30، Prime Agent 15/24 و OpenCode 14/30. پس از تغییر Harness، تعداد وظایف موفق DeepSeek V4 Flash از 14 به 20 افزایش یافت. از نظر هزینه، هزینه هر وظیفه موفق Pi Agent حدود 0.028 دلار و Claude Code 0.195 دلار است که تفاوتی نزدیک به 7 برابر دارد. از نظر سرعت، زمان متوسط Claude Code 122.7 ثانیه و Oh My Pi با 272.4 ثانیه کندترین بود. پیکربندی آزمایش Pi با شرایط یکسان تفاوت دارد، زیرا از شدت استدلال high به جای max استفاده کرده و از 30 وظیفه، 24 مورد از API رسمی DeepSeek استفاده کردند. Composio قبلاً با Kimi K3 یک دور دیگر از ارزیابی افقی Harness انجام داده بود که در آن Oh My Pi با 22/25 در رتبه اول قرار گرفت، نسخه اصلی Pi Agent با 18/25 در رتبه دوم بود و پس از تغییر به DeepSeek V4 Flash، نسخه اصلی Pi به رتبه اول رسید.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.