Tencent Hunyuan lanza versiones comprimidas de Hy3 de 1bit y 4bit

Tencent Hunyuan ha lanzado versiones comprimidas de Hy3 de 1bit y 4bit, lo que reduce significativamente el umbral de implementación del modelo de 295 mil millones de parámetros. El peso original de Hy3 es de casi 600GB, mientras que la versión de 1bit se reduce a 85.5GiB, lo que permite su ejecución en una sola tarjeta gráfica NVIDIA H20 de 96GB. Al operar con una sola tarjeta, los usuarios deben desactivar algunas funciones de aceleración y acortar la longitud del texto procesado por el modelo. Al utilizar dos tarjetas gráficas H20, se puede activar la aceleración. La versión de 4bit tiene un tamaño de 169.9GiB y requiere al menos dos tarjetas H20; aunque ocupa más memoria, su rendimiento se asemeja más al del modelo original. Tencent Hunyuan ha indicado que la versión de 4bit se acerca al modelo original en cuanto a código, llamadas a herramientas, comprensión de textos largos y tareas de agente, mientras que la versión de 1bit solo presenta una ligera disminución. Con la aceleración de generación activada, la versión de 1bit mejora su velocidad en aproximadamente un 50%, y la de 4bit en casi un 60%. Además, Tencent Hunyuan también ha proporcionado una versión de 4bit adecuada para implementación en servidores, que puede ser utilizada como API para múltiples usuarios o aplicaciones.

Aviso legal: Este contenido se brinda únicamente con fines informativos y de marca, y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Ningún evento, recompensa, evento en línea o información relacionada que se mencione aquí debe considerarse una recomendación, solicitud o invitación para comprar, vender, intercambiar u operar de cualquier otra forma con criptoactivos ni para utilizar ningún servicio. Los criptoactivos son altamente volátiles y pueden generar pérdidas. Los servicios y eventos en línea de WEEX pueden no estar disponibles en todas las regiones y están sujetos a las leyes, regulaciones y requisitos de elegibilidad aplicables. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con criptomonedas.