蚂蚁集团推出3.0闪电模型，每个令牌激活51亿个

蚂蚁集团的AI组织InclusionAI发布了3.0闪电模型，仅激活1240亿个参数中的51亿个令牌。FP8量化版本的容量约为BF16版本的一半，约为128GB。3.0闪电模型的BF16原版和FP8量化版已在MIT许可证下上传至Hugging Face和ModelScope，并可通过SGLang或vLLM进行分发。该模型采用专家混合型（Mixture-of-Experts，MoE）结构，根据输入仅调用部分专家网络以减少计算量。基本上支持256K上下文窗口，并可扩展至1M令牌。在高频任务中，目标是实现每秒最高1000个令牌的峰值推理速度和低于100毫秒的首个令牌响应时间。官方文档指出，3.0闪电模型应用了KDA和MLA层以5:1的比例交叉排列的混合线性注意力结构。3.0闪电模型将在韓國時間7月23日凌晨1点至8月7日凌晨0点59分59秒免费提供，8月时将应用75%的折扣，正常价格为每百万输入令牌0.40元，每百万输出令牌1.20元。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。