Porównanie wskaźników sukcesu i kosztów 8 zestawów Harness w teście DeepSeek V4 Flash

Firma Composio, zajmująca się infrastrukturą AI Agent, podłączyła DeepSeek V4 Flash do 8 zestawów Harness i przeprowadziła testy z użyciem tej samej partii 30 zadań Agentów, obejmujących aplikacje takie jak Gmail, GitHub, Slack, Calendar, Notion i inne. Wyniki przejścia 8 zestawów Harness to: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Po wymianie Harness liczba zadań zakończonych sukcesem dla DeepSeek V4 Flash wzrosła z 14 do 20. W kwestii kosztów, Pi Agent kosztuje około 0,028 USD za każde udane zadanie, podczas gdy Claude Code to 0,195 USD, co daje różnicę bliską 7 razy. Jeśli chodzi o czas, mediana czasu dla Claude Code wynosi 122,7 sekundy, a najwolniejszy Oh My Pi to 272,4 sekundy. Konfiguracja testowa Pi różni się od jednolitych warunków, używając wysokiej, a nie maksymalnej intensywności wnioskowania, a w 30 zadaniach 24 korzystały z oficjalnego API DeepSeek. Composio wcześniej przeprowadziło inną rundę porównawczą Harness z użyciem Kimi K3, gdzie Oh My Pi z wynikiem 22/25 zajęło pierwsze miejsce, oryginalny Pi Agent uzyskał 18/25, a po zmianie na DeepSeek V4 Flash oryginalny Pi zajął pierwsze miejsce.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.