So sánh tỷ lệ thành công và chi phí của 8 bộ Harness trong thử nghiệm DeepSeek V4 Flash

Công ty hạ tầng AI Agent Composio đã kết nối DeepSeek V4 Flash với 8 bộ Harness, sử dụng cùng một nhóm 30 nhiệm vụ Agent để thử nghiệm, các nhiệm vụ liên quan đến các ứng dụng như Gmail, GitHub, Slack, Calendar, Notion, v.v. Tình hình vượt qua của 8 bộ Harness là: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Sau khi thay đổi Harness, số nhiệm vụ vượt qua của DeepSeek V4 Flash đã tăng từ 14 lên 20. Về chi phí, mỗi nhiệm vụ thành công của Pi Agent khoảng 0.028 USD, trong khi Claude Code là 0.195 USD, chênh lệch gần 7 lần. Về tốc độ, thời gian trung bình của Claude Code là 122.7 giây, Oh My Pi chậm nhất là 272.4 giây. Cấu hình thử nghiệm của Pi có sự khác biệt với điều kiện thống nhất, sử dụng cường độ suy diễn high thay vì max, và trong 30 nhiệm vụ có 24 nhiệm vụ sử dụng API chính thức của DeepSeek. Trước đó, Composio đã thực hiện một vòng đánh giá ngang bằng khác với Kimi K3, Oh My Pi đứng đầu với 22/25, phiên bản gốc của Pi Agent là 18/25, và sau khi chuyển sang DeepSeek V4 Flash, phiên bản gốc của Pi đã vươn lên vị trí đầu tiên.

Nội dung này chỉ được đưa ra nhằm mục đích cung cấp thông tin chung, không phải là lời khuyên về tài chính, đầu tư, pháp lý hoặc thuế. Mọi sự kiện, phần thưởng, ưu đãi trực tuyến hoặc thông tin liên quan được đề cập trong nội dung này không được xem là khuyến nghị, chào mời hoặc lời mời mua, bán, giao dịch hoặc thực hiện bất kỳ hoạt động nào khác liên quan đến tài sản crypto. Tài sản crypto có độ biến động cao và có thể dẫn đến thua lỗ.Tính khả dụng của các dịch vụ, sản phẩm và sự kiện liên quan của WEEX có thể khác nhau tùy theo khu vực. Bạn có trách nhiệm bảo đảm việc tham gia của mình tuân thủ các luật và quy định hiện hành tại địa phương.