Comparação da Taxa de Sucesso e Custo do Teste DeepSeek V4 Flash com 8 Harness

A empresa de infraestrutura de IA Composio integrou o DeepSeek V4 Flash em 8 Harness, utilizando um mesmo lote de 30 tarefas de Agent para testes, envolvendo aplicações como Gmail, GitHub, Slack, Calendar e Notion. Os resultados de aprovação das 8 Harness foram: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Após a troca de Harness, o número de tarefas aprovadas do DeepSeek V4 Flash aumentou de 14 para 20. Em termos de custo, o Pi Agent teve um custo de cerca de 0,028 dólares por tarefa bem-sucedida, enquanto o Claude Code foi de 0,195 dólares, uma diferença de quase 7 vezes. Em relação à velocidade, o tempo médio do Claude Code foi de 122,7 segundos, com o Oh My Pi sendo o mais lento, com 272,4 segundos. A configuração de teste do Pi teve diferenças em relação às condições uniformes, utilizando intensidade de raciocínio alta em vez de máxima, e 24 das 30 tarefas utilizaram a API oficial do DeepSeek. A Composio já havia realizado uma outra rodada de comparação de Harness com o Kimi K3, onde o Oh My Pi ficou em primeiro lugar com 22/25, enquanto a versão original do Pi Agent obteve 18/25; após a troca para o DeepSeek V4 Flash, a versão original do Pi alcançou o primeiro lugar.

Este conteúdo é disponibilizado apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou fiscal. Quaisquer eventos, recompensas, promoções online ou informações relacionadas aqui mencionados não devem ser interpretados como uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar quaisquer outras operações com criptoativos. Os criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar consoante a região. O utilizador é responsável por garantir que a sua participação está em conformidade com a legislação e os regulamentos locais aplicáveis.