PrismML发布Bonsai 27B，270亿参数AI模型适配iPhone

PrismML发布Bonsai 27B模型，这是首个能够在消费级智能手机上运行的270亿参数AI模型。该模型压缩至3.9GB，可在iPhone 17 Pro Max上以每秒11个token的速度运行。三进制变体压缩至5.9GB，在M5 Pro笔记本上达到每秒26个token。压缩技术基于加州理工学院知识产权，将每个模型权重从16位浮点精度降至仅正1或负1，二进制变体比全精度模型小14倍。在15项基准测试中，三进制Bonsai 27B平均得分80.49，达到全精度模型94.6%的性能。该模型以Apache 2.0许可证免费发布。PrismML CEO Babak Hassibi确认公司正与苹果就压缩技术进行早期谈判，下一步计划压缩Gemma模型。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。