Spectro Cloud présente une réduction des coûts de tokens allant jusqu'à 70 %

Spectro Cloud a lancé sa plateforme de raisonnement prioritaire locale, PaletteAI Inference Launchpad, permettant aux entreprises de réduire les coûts de tokens jusqu'à 70 % lors de l'exécution de l'inférence de modèles de langage de grande taille (LLM) sur leur propre matériel. Ce produit offre des fonctionnalités telles que vLLM, Kubernetes, authentification, contrôle d'accès basé sur les rôles (RBAC) et surveillance, tout en prenant en charge les GPU AMD et NVIDIA. Spectro Cloud a élargi le support pour les GPU AMD, les opérateurs GPU, le runtime ROCm et la pile de référence AI d'entreprise d'AMD. Il propose également des fonctionnalités d'intégration avec des outils de codage AI et peut se connecter à OpenAI Codex CLI. Les entreprises envisagent l'inférence locale en raison des coûts et des problèmes de contrôle des données, car l'augmentation de l'utilisation des services AI dans le cloud entraîne des frais de tokens plus élevés et le risque que des informations sensibles soient transmises à l'extérieur. Spectro Cloud a expliqué que l'inférence locale permet de garder les données en interne et de passer à des coûts d'infrastructure prévisibles. AMD a évalué que le soutien à l'infrastructure de Spectro Cloud accélérera le déploiement des services des entreprises dans un environnement AI ouvert. Bien que cette annonce ne soit pas liée aux cryptomonnaies ou aux réseaux blockchain, elle pourrait représenter un défi important en termes de coûts et de sécurité pour les organisations traitant des codes et des informations sensibles.