AMD lanza el modelo de gran escala Instella-MoE completamente de código abierto, con 16 mil millones de parámetros

AMD lanzó el 25 de julio el modelo de expertos mixtos completamente de código abierto, Instella-MoE, que cuenta con un total de 16 mil millones de parámetros, activando 2.8 mil millones de parámetros por token, ofreciendo un rendimiento líder. Este modelo se entrenó desde cero utilizando las GPU AMD Instinct MI300X y MI325X, así como la pila de software ROCm, incorporando innovaciones arquitectónicas como Gated Multi-head Latent Attention y FarSkip-Collective, mejorando la eficiencia de entrenamiento e inferencia. Las pruebas de rendimiento muestran que el modelo base Instella-MoE-16B-A3B obtuvo un puntaje promedio de 76.7, posicionándose como líder entre los modelos de código abierto, superando a modelos como SmolLM3-3B y OLMo-3-7B, y compitiendo con modelos de mayor escala mientras solo activa 2.8 mil millones de parámetros. Este modelo admite el procesamiento de contextos largos de 64K tokens y completa un flujo de entrenamiento integral que incluye preentrenamiento, entrenamiento intermedio, expansión de contexto largo, ajuste fino supervisado, optimización de preferencias directas y aprendizaje por refuerzo. AMD también ha hecho públicos todos los pesos del modelo Instella-MoE, configuraciones de entrenamiento, proporciones de datos, puntos de control intermedios y código de inferencia, promoviendo la investigación y replicación de modelos de IA abiertos. AMD afirma que Instella-MoE demuestra la capacidad de entrenar modelos de gran escala de MoE basados en hardware AMD y un ecosistema de software abierto, y continuará avanzando en el desarrollo de modelos de lenguaje de código abierto con mayor escala, capacidad de inferencia y eficiencia.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.