Spectro Cloud推出本地优先推理平台，令代币成本降低最多70%

Spectro Cloud推出了本地优先推理平台PaletteAI Inference Launchpad，并表示企业在自有硬件上运行大型语言模型（LLM）推理时，代币成本可以降低最多70%。该产品提供vLLM、Kubernetes、认证、基于角色的访问控制（RBAC）和监控功能，并支持AMD和NVIDIA GPU。Spectro Cloud扩大了对AMD GPU及其GPU操作员、ROCm运行时和AMD企业AI参考栈的支持。还提供与AI编码工具的集成功能，可以连接OpenAI Codex CLI。企业之所以考虑本地推理，是因为成本和数据控制问题，随着云AI服务使用量的增加，代币收费不断增加，敏感信息也可能被传输到外部。Spectro Cloud解释说，通过本地推理，企业可以将数据保留在内部，并以可预测的基础设施成本进行转换。AMD评价称，Spectro Cloud的基础设施支持将加速企业在开放AI环境中的服务部署。此次发布与加密货币或区块链网络无关，但对于处理代码和敏感信息的组织来说，在成本和安全方面可能成为重要挑战。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。