SemiAnalysis: Kimi K3 reduz largura de banda de transmissão KV, demanda por redes de IA permanece alta

Em 19 de julho, a SemiAnalysis afirmou que cerca de três quartos da camada de rede do Kimi K3 utiliza KDA, permitindo uma redução de até 10 vezes na largura de banda de transmissão do cache KV, mas isso não resultará em uma contração significativa no tamanho do mercado de switches de rede de IA. O Kimi K3 possui 28 trilhões de parâmetros e, ao usar MXFP4, requer cerca de 1,5TB de largura de banda HBM para cada cálculo de avanço. Para manter uma velocidade de interação razoável e implementar implantações lucrativas, ainda é necessário conectar uma grande quantidade de chips através de redes de alta largura de banda, como GB300 NVL72, e depender de serviços de expansão WideEP. O WideEP distribui 896 modelos especialistas em várias GPUs e executa a distribuição de tokens e a fusão de resultados duas vezes em cada camada e em cada cálculo de avanço, exigindo mais de 120 execuções em um único cálculo de avanço. Em comparação, a transmissão do cache KV ocorre apenas uma vez por rodada de diálogo, portanto, a largura de banda de transmissão economizada pelo KDA pode ser muito menor do que a demanda de rede expandida trazida por modelos especialistas em larga escala. A SemiAnalysis acredita que mecanismos de atenção mais eficientes podem aumentar o comprimento do contexto de 1 milhão de tokens para mais de 5 milhões de tokens, e o aumento da eficiência pode expandir a escala de uso da IA, aumentando ainda mais a demanda por redes.

Aviso: Este conteúdo é fornecido apenas para fins de divulgação e informação geral da marca e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, eventos online ou informações relacionadas mencionados neste documento não devem ser considerados uma recomendação, solicitação ou convite para comprar, vender, negociar ou de qualquer outra forma realizar transações com criptoativos ou usar quaisquer serviços. Criptoativos são altamente voláteis, e sua negociação pode resultar em perdas. Os serviços e eventos online da WEEX podem não estar disponíveis em todas as regiões e estão sujeitos às leis, regulamentos e requisitos de elegibilidade aplicáveis. É sua responsabilidade garantir que o uso dos serviços da WEEX esteja em conformidade com as leis locais e avaliar cuidadosamente os riscos antes de participar de quaisquer atividades relacionadas a criptomoedas.