SemiAnalysis: Kimi K3 reduce el ancho de banda de transmisión KV, la demanda de redes de IA no disminuye

El 19 de julio, SemiAnalysis informó que aproximadamente tres cuartas partes de la capa de red del Kimi K3 utilizan KDA, lo que puede reducir el ancho de banda de transmisión de caché KV hasta en 10 veces, pero esto no llevará a una contracción significativa en el tamaño del mercado de conmutadores de red de IA. El Kimi K3 cuenta con 28 billones de parámetros y, al usar MXFP4, requiere aproximadamente 1.5TB de ancho de banda HBM por cada cálculo hacia adelante. Para mantener una velocidad de interacción razonable y lograr implementaciones rentables, aún se necesita conectar una gran cantidad de chips a través de redes de alto ancho de banda como GB300 NVL72, y depender de servicios de expansión WideEP. WideEP distribuye 896 modelos expertos entre múltiples GPU, y en cada capa, durante cada cálculo hacia adelante, ejecuta la distribución de tokens y la fusión de resultados dos veces, requiriendo más de 120 ejecuciones por cálculo hacia adelante. En comparación, la transmisión de caché KV ocurre solo una vez por ronda de diálogo, por lo que el ancho de banda de transmisión ahorrado por KDA puede ser mucho menor que la demanda de red ampliada que traen los modelos expertos a gran escala. SemiAnalysis considera que un mecanismo de atención más eficiente podría impulsar la longitud del contexto de 1 millón de tokens a más de 5 millones de tokens, y la mejora en la eficiencia podría ampliar la escala de uso de IA, aumentando aún más la demanda de red.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.