گروه آنت و vLLM هسته استنتاج کمی Humming را به صورت متن باز منتشر کردند

گروه آنت و جامعه vLLM به صورت مشترک Humming، یک کتابخانه عملگر استنتاج کمی با عملکرد بالا را به صورت متن باز منتشر کردند. Humming از طیف وسیعی از دستگاه‌ها پشتیبانی می‌کند، از جمله انواع مختلف GPU و دستگاه‌های سازگار با برنامه‌نویسی CUDA. این کتابخانه پشتیبانی غنی از کمی‌سازی را ارائه می‌دهد و از طریق یک معماری یکپارچه، ترکیب‌های مختلفی از وزن‌ها و فرمت‌های فعال‌سازی در Dense و MoE را پشتیبانی می‌کند و شامل انواع مختلفی از اعداد صحیح و اعشاری، عرض بیت و روش‌های مقیاس‌گذاری است. Humming در بارهای کاری معمولی مختلف، عملکردی به طور قابل توجهی بهتر از پیاده‌سازی‌های موجود مانند vLLM Marlin، FlashInfer و DeepGEMM دارد.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.