Tencent lanza el modelo Hy4, con 770 mil millones de parámetros y 1 millón de contexto

Tencent ha lanzado el preview de Hy4, un nuevo modelo que utiliza la arquitectura MoE, con un total de 770B de parámetros y 49B de parámetros activados en cada ocasión, ampliando el contexto a 1M. En comparación con los 295B de parámetros totales, 21B de parámetros activados y 256K de contexto de Hy3, Hy4 duplica su tamaño y amplía el contexto largo aproximadamente 4 veces. Hy4 enfatiza su aplicación en tareas reales como programación, trabajo de oficina, juegos y investigación científica, siendo capaz de construir desde cero un sitio web 3D en Three.js, crear demos de juegos jugables en Unity, procesar 72 documentos financieros y verificar reembolsos duplicados, límites excedidos y anomalías presupuestarias. Hy4 también se entrena y itera junto con productos de Tencent como WorkBuddy y CodeBuddy. Hy4 participa en su propio desarrollo, ayudando a optimizar métodos de entrenamiento, estrategias de datos, sistemas de evaluación y operadores subyacentes, formando un ciclo de auto-mejora. El preview de Hy4 ya está integrado en varios productos de Tencent, y la compañía anticipa en su informe financiero que Hy4 será más grande que Hy3, considerando la retroalimentación de productos reales como una fuente importante para el entrenamiento del modelo.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.