蚂蚁集团与vLLM联合开源Humming量化推理内核

蚂蚁集团与vLLM社区联合开源Humming，一个高性能的量化推理算子库。Humming支持广泛的设备，包括多种GPU和兼容CUDA编程的设备。该库提供丰富的量化支持，通过统一架构支持Dense和MoE中多种权重与激活格式组合，涵盖多种整数和浮点类型、位宽及缩放方式。Humming在多种典型负载中执行性能显著优于现有实现，如vLLM Marlin、FlashInfer和DeepGEMM等。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。