NVIDIA propose un plan de conception de mémoire collaborative pour l'IA, augmentant le débit d'inférence jusqu'à 30 fois

NVIDIA a annoncé qu'avec l'augmentation de l'échelle des modèles d'IA et la popularité des applications d'agents intelligents, la pression sur la mémoire GPU augmente, avec une offre de HBM qui se resserre et des prix qui augmentent. NVIDIA propose d'améliorer l'efficacité de l'utilisation de la mémoire par une conception collaborative entre GPU, CPU, réseau, stockage et logiciels, plutôt que d'augmenter simplement la capacité de mémoire GPU. Plus précisément, NVIDIA compresse les poids des modèles et le cache KV au format basse précision NVFP4, déplaçant les contextes temporairement inactifs vers des couches de stockage à coût inférieur, et utilise un déploiement distribué multi-GPU pour libérer de l'espace HBM. Dans les tests SemiAnalysis AgentX, le GB300 NVL72 a atteint un débit d'inférence par coût unitaire jusqu'à 10 fois celui de la plateforme H200 sous des charges de travail spécifiques ; le Vera Rubin NVL72 a amélioré le débit d'inférence par coût unitaire jusqu'à 30 fois par rapport au GB300 NVL72, tandis que la capacité HBM d'un seul GPU n'a augmenté que d'environ 3 %.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.