NVIDIA, AMD, Intel et 6 autres entreprises créent l'alliance open source SGLang pour l'inférence

By: x.com|

Lors du premier SGLang Summit, NVIDIA, AMD et Intel ont exceptionnellement uni leurs forces pour fonder l'alliance SGLang, devenant ainsi neuf membres fondateurs participant à l'élaboration de la feuille de route future des moteurs d'inférence AI open source. Ce sommet a attiré plus de 2000 participants sur place. SGLang est le logiciel de base pour l'exécution de grands modèles, responsable du traitement des demandes des utilisateurs, de la planification des GPU, de la gestion de la mémoire vidéo et de la réutilisation des résultats de calcul, influençant directement la vitesse d'exécution et le coût des modèles AI. Après la création de l'alliance, les fabricants de puces participeront de manière plus systématique au développement, en investissant des ingénieurs et des ressources de test pour promouvoir l'optimisation des performances matérielles. Les membres de l'alliance tiendront deux réunions de feuille de route par an, les décisions techniques et les droits de fusion de code étant gérés par l'équipe de maintenance de SGLang. Actuellement, 332 organisations ont adopté SGLang, et Meta a révélé qu'après sa migration vers SGLang, les ressources GPU dans son environnement de production à grande échelle ont été réduites de plus de la moitié. Le sommet a également annoncé la direction du développement de SGLang v1.0, mettant l'accent sur l'amélioration de la stabilité et de la compatibilité dans l'environnement de production, la version officielle étant encore en cours de développement. Parallèlement, SGLang a lancé un aperçu public du support pour les puces AWS Trainium et a collaboré avec Intel pour optimiser ses CPU, GPU et accélérateurs, le cadre d'apprentissage Miles v0.2 ayant également été publié.

Prix de --

--
--
--

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.

Vous pourriez aussi aimer

iconiconiconiconiconiconiconicon
Assistance client:@weikecs
Collaborations commerciales:@weikecs
Trading quantitatif/Market makers:bd@weex.com
Programme VIP:support@weex.com