Порівняння успішності та витрат 8 наборів Harness у тестуванні DeepSeek V4 Flash

Компанія Composio, що займається інфраструктурою AI Agent, підключила DeepSeek V4 Flash до 8 наборів Harness та провела тестування за допомогою однієї партії з 30 завдань Agent, які включали такі програми, як Gmail, GitHub, Slack, Calendar, Notion тощо. Результати проходження 8 наборів Harness: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Після зміни Harness кількість успішних завдань DeepSeek V4 Flash зросла з 14 до 20. Щодо витрат, Pi Agent коштує приблизно 0,028 долара за успішне завдання, тоді як Claude Code — 0,195 долара, що майже в 7 разів більше. Щодо швидкості, медіана часу для Claude Code становила 122,7 секунди, а найповільніший Oh My Pi — 272,4 секунди. Конфігурація тестування Pi відрізнялася від єдиних умов, оскільки використовувалася висока, а не максимальна інтенсивність міркувань, і з 30 завдань 24 використовували офіційний API DeepSeek. Раніше Composio проводила ще один раунд порівняння Harness за допомогою Kimi K3, де Oh My Pi зайняв перше місце з результатом 22/25, оригінальний Pi Agent — 18/25, а після переходу на DeepSeek V4 Flash оригінальний Pi вийшов на перше місце.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.