NVIDIA, AMD, Intel y otras 6 empresas crean la Alianza de Inferencia de Código Abierto SGLang

By: x.com|

En la primera cumbre de SGLang, NVIDIA, AMD e Intel se unieron raramente para formar la Alianza SGLang, convirtiéndose en 9 miembros fundadores que participan en la elaboración de la hoja de ruta futura del motor de inferencia de IA de código abierto. La cumbre atrajo a más de 2000 asistentes en persona. SGLang es el software de base para la ejecución de grandes modelos, encargado de procesar solicitudes de usuarios, programar GPUs, gestionar memoria de video y reutilizar resultados de cálculos, lo que afecta directamente la velocidad de ejecución y el costo de los modelos de IA. Tras la formación de la alianza, los fabricantes de chips participarán de manera más sistemática en el desarrollo, aportando ingenieros y recursos de prueba para impulsar la optimización del rendimiento del hardware. Los miembros de la alianza celebran dos reuniones anuales sobre la hoja de ruta, y el equipo de mantenimiento de SGLang tiene la autoridad sobre las decisiones técnicas y la fusión de código. Actualmente, 332 instituciones han adoptado SGLang, y Meta ha revelado que, tras la migración a SGLang, ha ahorrado más de la mitad de los recursos de GPU en su entorno de producción a gran escala. La cumbre también anunció la dirección de desarrollo de SGLang v1.0, enfocándose en mejorar la estabilidad y compatibilidad del entorno de producción, mientras que la versión oficial aún está en desarrollo. Al mismo tiempo, SGLang ha lanzado soporte de vista previa pública para el chip AWS Trainium y ha colaborado con Intel para optimizar sus CPU, GPUs y aceleradores; el marco de aprendizaje Miles v0.2 también ha sido lanzado.

Precio de --

--
--
--

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.

También te puede interesar

iconiconiconiconiconiconiconicon
Atención al cliente:@weikecs
Cooperación empresarial:@weikecs
Trading cuantitativo y MM:bd@weex.com
Programa VIP:support@weex.com