AMD lanza el modelo MoE de código abierto Instella-MoE con 16 mil millones de parámetros

AMD lanzó el 25 de julio el modelo de expertos híbridos de código abierto Instella-MoE, que cuenta con un total de 16 mil millones de parámetros, activando 2.8 mil millones de parámetros por token, y ofrece un rendimiento líder. Este modelo se basa en las GPU AMD Instinct MI300X y MI325X, y se ha entrenado desde cero utilizando la pila de software ROCm, incorporando innovaciones arquitectónicas como Gated Multi-head Latent Attention y FarSkip-Collective, mejorando la eficiencia de entrenamiento e inferencia. Las pruebas de rendimiento muestran que el modelo base Instella-MoE-16B-A3B obtuvo una puntuación promedio de 76.7, posicionándose como líder entre los modelos de código abierto, superando a modelos como SmolLM3-3B y OLMo-3-7B, y compitiendo con modelos de mayor escala mientras solo activa 2.8 mil millones de parámetros. Este modelo admite el procesamiento de contextos largos de 64K tokens y completa un flujo de entrenamiento integral que incluye preentrenamiento, entrenamiento intermedio, expansión de contexto largo, ajuste fino supervisado, optimización de preferencias directas y aprendizaje por refuerzo. AMD también ha hecho públicos todos los pesos del modelo Instella-MoE, la configuración de entrenamiento, la proporción de datos, los puntos de control intermedios y el código de inferencia, promoviendo la investigación y replicación de modelos de IA abiertos. AMD afirma que Instella-MoE demuestra la capacidad de entrenar modelos MoE a gran escala utilizando hardware AMD y un ecosistema de software abierto, y continuará avanzando en el desarrollo de modelos de lenguaje de código abierto con mayor escala, mayor capacidad de inferencia y mayor eficiencia.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.