Meta présente un article sur la réduction des coûts d'apprentissage des LLM

L'équipe de recherche de Meta FAIR a souligné les limites de la prévision de l'échelle d'apprentissage des modèles de langage de grande taille (LLM) et a proposé un modèle de correction appelé 'Skaling'. Le '10 fois moins de calcul' mentionné dans l'article fait référence à une réduction des coûts expérimentaux, et non à une réduction des coûts d'apprentissage globaux. Les chercheurs ont déclaré que l'hypothèse existante selon laquelle la taille du modèle et les données d'apprentissage agissent indépendamment sur la valeur de perte entraîne des erreurs dans certaines plages. La loi de Skaling vise à réduire l'erreur de prévision en reflétant l'effet combiné de la taille du modèle N et des tokens d'apprentissage D. Les chercheurs ont constaté que Skaling était plus précis que Chinchilla dans 76 % des configurations testées, avec une amélioration de l'erreur de 2,2 fois en termes de médiane. L'erreur absolue moyenne en pourcentage (MAPE) a été réduite de 1,5 à 3 fois selon les conditions expérimentales. L'article explique qu'en utilisant une grille de profilage en 'L' ciblant les plages à faible coût, il est possible d'obtenir une précision de prévision similaire tout en utilisant environ 10 fois moins de calculs que la méthode consistant à balayer uniformément l'ensemble de la grille. Cela ne signifie pas que le coût total d'apprentissage est réduit d'un facteur de 10. Meta a déclaré qu'après l'apprentissage de 15 trillions de tokens, le modèle 8B de 2024 avait encore amélioré ses performances, dépassant le point optimal de Chinchilla. Cet article est une préimpression sur arXiv, se concentrant sur l'efficacité de l'apprentissage de l'IA et le débat sur la correction des lois de mise à l'échelle.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.