Tencent Hunyuan lança versões compactadas de Hy3 de 1bit e 4bit

A Tencent Hunyuan lançou versões compactadas de 1bit e 4bit do Hy3, reduzindo significativamente a barreira de implantação do modelo de 295 bilhões de parâmetros. O peso original do Hy3 é de quase 600GB, enquanto a versão de 1bit foi reduzida para 85,5GiB, podendo ser executada em uma única placa gráfica NVIDIA H20 de 96GB. Durante a execução em uma única placa, os usuários devem desativar algumas funções de aceleração e encurtar o comprimento do texto processado pelo modelo. Com duas placas gráficas H20, a aceleração pode ser ativada. A versão de 4bit tem um tamanho de 169,9GiB e requer pelo menos duas placas H20; embora ocupe mais memória, seu desempenho se aproxima do modelo original. A Tencent Hunyuan afirmou que a versão de 4bit é quase equivalente ao modelo original em termos de código, chamadas de ferramentas, compreensão de textos longos e tarefas de agente, enquanto a versão de 1bit apresenta apenas uma leve diminuição. Com a aceleração de geração ativada, a versão de 1bit tem um aumento de velocidade de cerca de 50%, enquanto a versão de 4bit aumenta quase 60%. Além disso, a Tencent Hunyuan também oferece uma versão de 4bit adequada para implantação em servidores, que pode ser transformada em uma API para ser chamada por vários usuários ou aplicações.

Aviso: Este conteúdo é fornecido apenas para fins de divulgação e informação geral da marca e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, eventos online ou informações relacionadas mencionados neste documento não devem ser considerados uma recomendação, solicitação ou convite para comprar, vender, negociar ou de qualquer outra forma realizar transações com criptoativos ou usar quaisquer serviços. Criptoativos são altamente voláteis, e sua negociação pode resultar em perdas. Os serviços e eventos online da WEEX podem não estar disponíveis em todas as regiões e estão sujeitos às leis, regulamentos e requisitos de elegibilidade aplicáveis. É sua responsabilidade garantir que o uso dos serviços da WEEX esteja em conformidade com as leis locais e avaliar cuidadosamente os riscos antes de participar de quaisquer atividades relacionadas a criptomoedas.