Ant Group lanza Ling-3.0-tiny, 7.9 mil millones de parámetros, alcanzando 90 Token/s en M4 Pro

Ant Group ha abierto el peso de Ling-3.0-tiny, ofreciendo tres versiones: BF16, FP8 e INT4, bajo licencia MIT. Este modelo cuenta con 7.9 mil millones de parámetros, activando solo 1.3 mil millones por cada Token, y está diseñado principalmente para implementaciones locales y escenarios de agentes. Ling-3.0-tiny está equipado con 128 expertos en enrutamiento, de los cuales cada Token selecciona 8 expertos, además de 1 experto compartido. La parte de atención utiliza una arquitectura mixta KDA y MLA en una proporción de 3:1, donde cada 3 capas de Kimi Delta Attention son seguidas por 1 capa de MLA. Según la información oficial, la versión FP8 puede alcanzar aproximadamente 86-90 Token/s en un MacBook M4 Pro, y alrededor de 100-105 Token/s en DGX Spark.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.