Ant Group y vLLM lanzan en código abierto el núcleo de inferencia cuantitativa Humming

Ant Group y la comunidad vLLM han lanzado en código abierto Humming, una biblioteca de operadores de inferencia cuantitativa de alto rendimiento. Humming es compatible con una amplia gama de dispositivos, incluidos varios GPU y dispositivos compatibles con programación CUDA. Esta biblioteca ofrece un rico soporte de cuantificación, permitiendo combinaciones de múltiples formatos de pesos y activaciones en Dense y MoE a través de una arquitectura unificada, abarcando varios tipos de enteros y flotantes, así como anchos de bits y métodos de escalado. Humming muestra un rendimiento significativamente superior en diversas cargas de trabajo típicas en comparación con implementaciones existentes, como vLLM Marlin, FlashInfer y DeepGEMM.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.