Gu Yuxian rejoint DeepSeek, dirigeant la distillation de grands modèles et l'accélération des textes longs

Gu Yuxian, diplômé du doctorat en informatique de l'Université Tsinghua, a officiellement rejoint DeepSeek, apparaissant dans la liste des auteurs de l'article DeepSeek V4. Les recherches de Gu Yuxian se concentrent sur l'optimisation de l'efficacité des grands modèles lors des phases de pré-entraînement, de compression de modèle et d'inférence, avec un nombre total de citations sur Google Scholar approchant les 5000. Ses travaux représentatifs incluent la méthode de distillation de connaissances pour grands modèles MiniLLM, adoptée par des plateformes telles que Google, Alibaba et NVIDIA, ainsi que le modèle à architecture hybride Jet-Nemotron. Jet-Nemotron, lorsqu'il traite un contexte ultra-long de 256K sur des cartes graphiques H100, génère un débit 53,6 fois plus rapide que les modèles traditionnels à attention complète, surpassant également des modèles d'experts hybrides avec un plus grand nombre de paramètres dans plusieurs tests de référence.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.