NVIDIA, AMD, Intel y otras 9 empresas crean la alianza de inferencia de código abierto SGLang

By: x.com|

En la primera cumbre de SGLang, NVIDIA, AMD e Intel se unieron raramente para establecer la alianza SGLang, convirtiéndose en 9 miembros fundadores que participan en la elaboración de la hoja de ruta futura del motor de inferencia de IA de código abierto. La cumbre atrajo a más de 2000 personas en persona. SGLang es el software de base para la ejecución de grandes modelos, encargado de manejar las solicitudes de los usuarios, programar las GPU, gestionar la memoria de video y reutilizar los resultados de cálculo, lo que afecta directamente la velocidad de ejecución y el costo de los modelos de IA. Tras la formación de la alianza, los fabricantes de chips participarán de manera más sistemática en el desarrollo, aportando ingenieros y recursos de prueba para impulsar la optimización del rendimiento del hardware. Los miembros de la alianza celebrarán dos reuniones anuales de hoja de ruta, y el equipo de mantenimiento de SGLang tendrá el control sobre las decisiones técnicas y la fusión de código. Actualmente, 332 instituciones ya han adoptado SGLang, y Meta ha revelado que, tras la migración a SGLang, ha ahorrado más de la mitad de los recursos de GPU en su entorno de producción a gran escala. La cumbre también anunció la dirección de desarrollo de SGLang v1.0, centrada en mejorar la estabilidad y compatibilidad en entornos de producción, y la versión oficial aún está en desarrollo. Al mismo tiempo, SGLang ha lanzado soporte de vista previa pública para el chip AWS Trainium y ha colaborado con Intel para optimizar sus CPU, GPU y aceleradores; el marco de aprendizaje Miles v0.2 también ha sido lanzado.

Precio de --

--
--
--

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.

Te puede gustar

iconiconiconiconiconiconiconicon
Atención al cliente:@weikecs
Cooperación empresarial:@weikecs
Trading cuantitativo y CM:bd@weex.com
Programa VIP:support@weex.com