Morgan Stanley interprète : Pourquoi NVIDIA réduit-elle les capacités alors que la pénurie de mémoire pour l'IA persiste ?

TL;DR : La pénurie de mémoire pour l'IA pourrait persister tout au long du cycle. Morgan Stanley estime que la croissance continue de la taille des modèles, de la longueur du contexte et du volume de raisonnement en parallèle absorbera constamment l'offre de stockage supplémentaire. NVIDIA commence à proposer des solutions « réduites » pour Rubin. Certaines capacités HBM et LPDDR5 pourraient être abaissées, mais la demande n'a pas disparu, elle s'est plutôt déplacée vers le NAND, le DRAM et les interconnexions à haute vitesse. L'architecture de raisonnement de l'IA est en train de se restructurer. La séparation de Prefill et Decode devrait améliorer l'utilisation du matériel, créant des opportunités pour des solutions technologiques comme Cerebras et NVIDIA Groq. Le CXL pourrait devenir un nouveau point de croissance. Morgan Stanley prévoit qu'en 2030, le marché des semi-conducteurs associé atteindra environ 6 milliards de dollars, avec Astera Labs et Marvell comme bénéficiaires potentiels. La clé pour les actions de stockage est la durée du cycle, et non l'ampleur de l'augmentation à court terme. Morgan Stanley maintient une surpondération sur Micron et SanDisk, le principal risque étant un ralentissement des investissements en IA et de la construction de centres de données.

Note de l'éditeur : Le prochain goulot d'étranglement de l'IA pourrait ne plus être le nombre de GPU, mais la mémoire. Avec l'augmentation de la taille des grands modèles, l'élargissement des fenêtres contextuelles et la consommation continue de ressources de raisonnement par les agents IA, la pression sur l'approvisionnement en HBM, DRAM et NAND se propage à l'ensemble du centre de données. Ce qui est encore plus préoccupant, c'est qu'en raison de la pénurie de stockage, NVIDIA explore des solutions de produits avec des configurations de mémoire plus faibles pour la prochaine plateforme Rubin, afin de maintenir le rythme de livraison et de déploiement des systèmes.

Cela soulève une question apparemment contradictoire : si la demande de stockage pour l'IA est si forte, pourquoi les fabricants de puces envisagent-ils de réduire la capacité de mémoire ? La « réduction » de la mémoire signifie-t-elle que la demande est sur le point d'atteindre un sommet, ou indique-t-elle que le goulot d'étranglement de l'approvisionnement est devenu si grave qu'il oblige l'ensemble de l'industrie à ajuster sa trajectoire technologique ?

Les analystes en semi-conducteurs de Morgan Stanley, Joseph Moore et al., ont publié le 5 octobre un rapport intitulé « Comment l'écosystème de l'IA peut-il contourner les goulots d'étranglement de la mémoire ? », dans lequel ils avancent que la pénurie de stockage pourrait persister tout au long du cycle actuel de l'IA, mais que la construction de l'IA ne peut pas attendre que les fonderies de DRAM terminent leur expansion. L'industrie doit contourner les limitations d'approvisionnement existantes en réduisant certaines configurations de produits, en décomposant les tâches de raisonnement et en améliorant l'efficacité du partage de la mémoire.

Cela signifie que la concurrence pour le matériel d'IA pourrait passer d'une simple augmentation de la capacité des GPU et de la mémoire à une efficacité d'utilisation des ressources de l'ensemble du système de calcul. La pénurie de stockage ne doit pas nécessairement affaiblir la demande à long terme pour les fabricants de stockage, mais pourrait changer la répartition de la valeur dans la chaîne d'approvisionnement. En plus de Micron et SanDisk, d'autres entreprises comme Cerebras, Astera Labs et Marvell, qui possèdent des architectures de calcul et des technologies d'interconnexion spéciales, pourraient également en tirer de nouvelles opportunités de croissance.

Voici la traduction de l'article original :

La construction d'infrastructures pour l'IA est confrontée à un problème de plus en plus difficile à résoudre : la puissance de calcul peut être étendue en achetant plus de GPU, mais l'approvisionnement en mémoire ne peut pas augmenter à la même vitesse.

Morgan Stanley estime que, dans un avenir prévisible, la demande en IA pourrait continuer à absorber une quantité importante d'approvisionnement en stockage supplémentaire. Même si le degré de pénurie varie au fil du temps, l'expansion de la capacité de DRAM reste difficile à réaliser rapidement pour combler le déficit d'offre.

Dans ses échanges avec les entreprises du secteur informatique, Morgan Stanley a constaté que la manière de contourner le goulot d'étranglement de la mémoire est devenue un sujet de plus en plus important. Le PDG de NVIDIA, Jensen Huang, a également évoqué la nécessité de concevoir de manière collaborative les systèmes de calcul, de réseau et de stockage pour atténuer les restrictions d'approvisionnement.

Les analystes estiment qu'il ne s'agit pas d'un avertissement sur un affaiblissement de la demande de stockage, mais d'une réalité à laquelle l'ensemble de l'industrie de l'IA doit faire face : lorsque la mémoire ne peut pas être fournie comme prévu, les entreprises doivent trouver de nouvelles architectures système pour permettre au matériel existant de continuer à soutenir la croissance de l'IA.

I. NVIDIA commence à réduire les capacités pour Rubin, mais le goulot d'étranglement de stockage n'a pas disparu

La manière la plus directe est de réduire la capacité de mémoire utilisée par chaque serveur ou GPU.

Morgan Stanley souligne que la tension sur l'approvisionnement en DRAM et NAND et la hausse des prix poussent la chaîne d'approvisionnement de l'IA à reconsidérer les configurations de produits. Pour les fabricants de puces, il est préférable de proposer des versions avec différentes capacités de mémoire, permettant aux clients de choisir en fonction de leurs besoins réels, plutôt que de maintenir les spécifications d'origine et de risquer de ne pas pouvoir livrer les systèmes comme prévu.

Le rapport prévoit que NVIDIA pourrait proposer plusieurs configurations de mémoire plus faibles pour la plateforme Rubin.

En ce qui concerne la mémoire au niveau du rack, la capacité LPDDR5 initialement prévue pour Rubin était d'environ 54 To, tandis que certaines nouvelles configurations pourraient être réduites à 28 To, correspondant à une capacité de module de mémoire SOCAMM2 passant de 192 Go à 96 Go.

Pour l'HBM, Rubin était initialement prévu avec 288 Go d'HBM4, utilisant une conception empilée de 8 groupes de 12 couches ; Morgan Stanley prévoit que NVIDIA pourrait ajouter une version de produit équipée de 192 Go d'HBM4, réduisant le nombre de couches empilées à 8.

Pour Rubin Ultra, le rapport estime qu'après ajustement pour un schéma à double puce de calcul, 512 Go est une référence plus appropriée, et il pourrait y avoir des choix de capacité allant d'environ 192 Go à 384 Go.

Ces jugements sur les configurations de produits sont basés sur les informations disponibles jusqu'à la date de publication du rapport de Morgan Stanley, et toutes les spécifications n'ont pas encore été officiellement confirmées par NVIDIA.

D'un point de vue coût, cette stratégie a sa logique. Réduire le nombre de couches empilées d'HBM peut diminuer la capacité, et lorsque le nombre d'interfaces et la vitesse des broches restent constants, la bande passante théorique ne doit pas nécessairement diminuer en parallèle.

Cependant, la capacité et la bande passante résolvent deux problèmes différents. Pour les applications avec des modèles plus petits et des contextes plus courts, la réduction de la capacité peut avoir un impact limité ; mais à mesure que les modèles deviennent plus grands et que les tâches de raisonnement deviennent plus complexes, une capacité de mémoire insuffisante peut encore entraîner un transfert accru de données entre différents niveaux de stockage, augmentant la latence ou l'utilisation du GPU.

Plus important encore, réduire l'HBM ne fera pas disparaître les données que l'IA doit traiter, cela ne fera que forcer ces données à chercher de nouveaux emplacements de stockage.

Par exemple, lorsque la capacité HBM du GPU est insuffisante, certaines données peuvent devoir être conservées dans la mémoire principale ; lorsque la capacité LPDDR5 au niveau du rack est réduite, certaines demandes de cache KV (cache clé-valeur) peuvent se tourner vers le stockage NAND.

Le cache KV est un cache utilisé pour stocker des informations de calcul historiques lors du raisonnement des grands modèles. Avec l'allongement du contexte et l'augmentation des demandes simultanées, ses besoins en capacité augmentent également.

La demande de stockage ne disparaît pas, mais se déplace vers d'autres niveaux.

Morgan Stanley souligne qu'en réduisant certaines configurations de LPDDR5, la chaîne d'approvisionnement a déjà observé une nouvelle demande provenant du NAND. La réduction de la capacité HBM pourrait également augmenter le transfert de données entre les GPU, mettant davantage de pression sur le réseau d'interconnexion à haute vitesse.

Cela signifie que la stratégie de réduction de NVIDIA pourrait temporairement atténuer les contraintes d'approvisionnement en DRAM, tout en augmentant simultanément la demande pour le NAND, les puces d'interconnexion et des clusters GPU de plus grande taille.

Cette pression de transfert a un contexte à long terme.

Selon les données historiques d'Epoch AI citées dans le rapport, la taille des paramètres des modèles de pointe à l'ère des grands modèles a montré une tendance à doubler environ tous les six mois. Les fenêtres contextuelles ont également connu une expansion rapide. Parallèlement, de plus en plus d'applications d'IA passent de simples questions-réponses à des tâches de programmation, de raisonnement complexe et d'agents fonctionnant sur de longues périodes, augmentant encore l'utilisation de la mémoire.

Morgan Stanley estime que la taille des modèles, la longueur du contexte et le volume de raisonnement en parallèle continueront de stimuler la croissance de la demande de stockage. Par conséquent, la réduction de certaines configurations de produits est plus susceptible d'être une solution temporaire en période de tension d'approvisionnement, plutôt qu'un signal d'une baisse à long terme de la demande de mémoire pour l'IA.

II. Le raisonnement de l'IA commence à être « décomposé », le GPU ne gère plus toutes les tâches

Si la réduction des configurations de mémoire est une mesure à court terme, alors changer la manière de calculer le raisonnement de l'IA pourrait entraîner des changements plus profonds dans l'industrie.

La deuxième voie d'intérêt pour Morgan Stanley est le raisonnement décomposé, c'est-à-dire décomposer les différentes tâches de raisonnement qui étaient auparavant concentrées dans un même système de calcul et les confier à du matériel plus adapté.

Le raisonnement des grands modèles traditionnels comprend principalement deux phases.

La première phase est le Prefill, qui consiste à traiter les invites, fichiers ou contextes historiques fournis par l'utilisateur et à effectuer de nombreux calculs parallèles. Cette phase dépend généralement davantage des performances de calcul.

La deuxième phase est le Decode, où le modèle génère les tokens de sortie un par un. Ce processus nécessite un accès répété aux poids du modèle et au cache KV, et dépend donc davantage de la bande passante de la mémoire, de la capacité et de la latence d'accès aux données.

Dans le passé, un même GPU était souvent chargé de ces deux types de tâches simultanément. Mais à mesure que la demande de raisonnement s'élargit, cette configuration n'est pas toujours le choix le plus efficace.

Morgan Stanley estime qu'une direction plus raisonnable pourrait être de confier le matériel intensif en calcul au Prefill, tandis qu'une architecture optimisée pour la faible latence et la haute bande passante prendrait en charge le Decode.

Cette approche pourrait non seulement améliorer l'utilisation du matériel, mais aussi permettre aux centres de données d'élargir séparément les deux ressources de calcul, sans avoir à équiper tous les tâches de GPU et HBM identiques.

Différences techniques entre Prefill et Decode

L'un des bénéficiaires potentiels les plus directs est Cerebras.

Cerebras utilise une architecture de processeur au niveau de la plaquette, intégrant de nombreuses unités de calcul et de la SRAM sur une seule puce. La densité de capacité de la SRAM (mémoire statique à accès aléatoire) est généralement inférieure à celle du DRAM, mais elle présente des caractéristiques de faible latence et de haute bande passante, adaptées à certaines tâches de raisonnement nécessitant des lectures fréquentes de données.

En rapprochant les unités de calcul des données, Cerebras peut réduire les besoins d'accès à la mémoire externe et améliorer la vitesse de traitement de certaines étapes de raisonnement.

Morgan Stanley souligne que Cerebras a collaboré avec AMD et AWS pour explorer la combinaison de différents processeurs en un système de raisonnement unifié.

Dans le cadre de la solution conjointe entre AMD et Cerebras, AMD Helios est responsable du Prefill, plus intensif en calcul, et du traitement de grands contextes, tandis que le moteur de plaquette de Cerebras prend en charge le Decode. Le rapport prévoit que cette solution entrera en phase de production au quatrième trimestre 2026.

AWS adopte une approche similaire, traitant le Prefill avec Trainium, puis le Decode avec Cerebras, et les solutions combinées devraient entrer dans Amazon Bedrock au premier trimestre 2027.

Selon les données de performance spécifiques divulguées par Cerebras et AMD, la combinaison des deux devrait permettre d'atteindre une augmentation de débit d'environ cinq fois tout en maintenant la vitesse de raisonnement de Cerebras. Cela ne signifie pas que toutes les tâches de raisonnement bénéficieront d'une amélioration équivalente, mais cela indique que la configuration du matériel pour différentes tâches pourrait améliorer considérablement l'économie du système.

Pour Cerebras, ce changement ne signifie pas seulement plus d'opportunités de vente de puces. Étant donné que l'entreprise gère également son propre service cloud d'inférence, si le même matériel peut générer plus de tokens, le coût par token pourrait diminuer, améliorant ainsi la marge brute ou offrant une marge de manœuvre pour réduire les prix pour les clients.

NVIDIA explore également une direction similaire.

En intégrant les technologies de Groq, NVIDIA combine des GPU basés sur HBM avec une architecture LPU utilisant de la SRAM haute vitesse. Dans le scénario décrit par le rapport, le GPU Rubin est responsable du pré-remplissage et de certains calculs de décodage nécessitant un grand cache, tandis que l'architecture Groq prend en charge des calculs plus adaptés à ses caractéristiques de faible latence, les tâches étant coordonnées entre différents processeurs par le logiciel NVIDIA Dynamo.

Il est important de noter que l'accord entre NVIDIA et Groq en 2025 concerne une licence technologique et un arrangement de recrutement de talents, et non une acquisition complète de la société Groq.

Morgan Stanley estime qu'avec la croissance des dépenses d'inférence dépassant celle de l'entraînement, une architecture de calcul hétérogène optimisée pour différentes étapes d'inférence pourrait bénéficier d'un plus grand espace de marché. Selon les prévisions de dépenses en infrastructures du rapport, d'ici 2030, l'inférence devrait représenter environ 56 % des dépenses en infrastructures AI, tandis que l'entraînement devrait représenter environ 44 %.

Cela apporte également une nouvelle logique de concurrence dans l'industrie des puces AI : à l'avenir, les indicateurs mesurant la compétitivité d'un système AI pourraient non seulement inclure la puissance de calcul de pointe, mais aussi le nombre de tokens générés par seconde et le coût de génération de chaque token.

III. Le marché CXL devrait atteindre 6 milliards de dollars, l'interconnexion de la mémoire devient une nouvelle opportunité

En plus de changer la manière dont les tâches d'inférence sont réparties, Morgan Stanley se concentre également sur la manière d'améliorer l'efficacité d'utilisation des ressources mémoire existantes. C'est là que se trouve l'opportunité de la technologie CXL.

CXL (Compute Express Link) est un protocole d'interconnexion haute vitesse qui permet aux processeurs d'accéder plus facilement à la mémoire externe, sans avoir à dépendre en permanence de la DRAM connectée localement.

Dans les serveurs traditionnels, les ressources mémoire sont souvent liées à un CPU spécifique. Même si un serveur dispose d'une grande quantité de mémoire inutilisée, il est difficile de la rendre directement accessible à un autre serveur. CXL améliore l'utilisation globale de la DRAM dans les centres de données grâce à l'extension, au partage et à la mise en pool de la mémoire. L'extension de la mémoire peut fournir une capacité supplémentaire à un processeur unique ; le partage de la mémoire permet à plusieurs processeurs d'accéder aux mêmes ressources mémoire ; la mise en pool de la mémoire organise la mémoire dispersée en un pool de ressources unifié, allouant dynamiquement en fonction de la charge de travail.

Cette technologie a été davantage appliquée dans des environnements de calcul CPU traditionnels, car les charges de travail CPU acceptent relativement plus facilement le délai d'accès supplémentaire apporté par la mémoire externe. En revanche, les GPU AI dépendent depuis longtemps de HBM pour fournir une bande passante de données extrêmement élevée, et la DRAM externe connectée par CXL est difficile à remplacer directement par HBM.

Cependant, avec l'évolution des besoins en inférence AI, la valeur de cette architecture est en hausse.

Par exemple, l'inférence avec un long contexte nécessite de conserver un grand cache KV, mais toutes les données mises en cache ne doivent pas nécessairement rester en permanence dans le HBM le plus rapide. Le système peut conserver les données sensibles à la performance dans le HBM, tout en transférant certaines données à fréquence d'accès plus faible et avec des exigences de latence relativement flexibles vers la DRAM externe.

Cela peut à la fois soulager la pression sur la capacité coûteuse du HBM et améliorer l'efficacité d'utilisation de la DRAM existante.

Morgan Stanley estime que l'AI pousse CXL à passer de l'extension de mémoire des serveurs traditionnels à un marché plus large de connexion et de partage de mémoire pour les accélérateurs.

Par le passé, Astera Labs a estimé que la taille potentielle du marché des contrôleurs de mémoire CXL dépasserait 4 milliards de dollars. Morgan Stanley prévoit actuellement qu'avec la croissance des besoins en inférence AI, le déchargement du cache KV et la mise en pool de mémoire au niveau des racks, la taille potentielle du marché des semi-conducteurs de connexion de mémoire CXL et associés pourrait atteindre environ 6 milliards de dollars d'ici 2030.

Il convient de souligner que ce chiffre représente une prévision des analystes concernant l'espace de marché potentiel, et non des revenus de marché déjà réalisés.

En ce qui concerne les entreprises spécifiques, le rapport se concentre sur Astera Labs (ALAB) et Marvell (MRVL).

Les opportunités d'Astera Labs proviennent principalement de ses produits de contrôleurs de mémoire Leo. Morgan Stanley indique que l'entreprise prévoit que les produits Leo standardisés et personnalisés commenceront à être déployés à grande échelle en 2027 chez deux grands clients de services cloud américains, y compris des conceptions de déchargement de cache KV pour l'inférence AI.

Marvell, quant à elle, se positionne respectivement sur l'extension de mémoire et la mise en pool de mémoire au niveau des racks avec Structera X et Structera S. L'entreprise a précédemment prévu que son activité CXL pourrait contribuer à plus de 1 milliard de dollars de revenus d'ici 2028.

Pour ces deux entreprises, la pénurie de stockage AI pourrait donner à la technologie CXL, qui se propageait lentement, une nouvelle demande commerciale.

Cependant, Morgan Stanley admet également que la taille réelle du marché CXL reste difficile à prédire avec précision. Différents fournisseurs de cloud pourraient choisir des technologies d'interconnexion non CXL, des HBM de plus grande capacité, ou des solutions de cache basées sur la mémoire flash, ce qui pourrait entraîner des différences significatives entre la vitesse d'adoption du marché et les attentes actuelles.

Ainsi, la logique d'investissement dans CXL doit être observée en fonction des progrès réels des déploiements des fournisseurs de cloud, des volumes de produits expédiés et des revenus des activités connexes.

IV. La réduction de la mémoire ne signifie pas nécessairement des nouvelles négatives pour Micron, le véritable risque est le ralentissement de la construction AI

Pour la chaîne d'approvisionnement du stockage, la réduction de certaines configurations de mémoire par NVIDIA ne semble pas être une bonne nouvelle. Si la capacité HBM d'un GPU individuel diminue et que l'utilisation de LPDDR5 par rack diminue, le nombre de mémoires que les fabricants de stockage peuvent vendre pourrait être inférieur aux prévisions initiales.

Morgan Stanley admet que, d'un point de vue de maximisation des profits à court terme, cela pourrait effectivement affaiblir une partie de la demande et des opportunités de tarification que les fabricants de stockage auraient pu obtenir. Cependant, les analystes estiment que cela ne devrait pas être compris simplement comme la fin d'un cycle de stockage. La clé est que la réduction actuelle est principalement poussée par des contraintes d'approvisionnement, et non parce que les clients n'ont plus besoin de tant de mémoire.

Lorsque les fabricants AI souhaitent acheter plus de DRAM mais ne peuvent pas obtenir suffisamment d'approvisionnement, la réduction des configurations peut les aider à maintenir la livraison des systèmes. À l'avenir, lorsque l'approvisionnement augmentera, les fabricants auront toujours l'incitation à réélever le niveau de configuration. Cela signifie que la demande actuelle non satisfaite pourrait créer un certain espace pour des achats ultérieurs.

Sur la base de ce jugement, Morgan Stanley se concentre davantage sur la durée du cycle de prospérité de l'industrie du stockage, plutôt que sur l'ampleur maximale de l'augmentation des prix à court terme. Si les modèles AI continuent de s'élargir, que les applications Agent augmentent et que le volume d'inférence continue de croître, alors même si les fabricants de DRAM augmentent leur capacité, l'approvisionnement supplémentaire pourrait être rapidement absorbé.

Ainsi, Morgan Stanley maintient une note d'Overweight (surpondération) pour Micron (MU) et SanDisk (SNDK), estimant que la tension sur l'approvisionnement en stockage ne se terminera pas rapidement.

Mais cela ne signifie pas que l'industrie du stockage peut complètement échapper aux risques cycliques. Le rapport estime que le risque le plus crucial provient toujours de la demande AI elle-même. Si le développement de modèles, les applications d'inférence ou la croissance des investissements en puissance de calcul diminuent de manière significative, la chaîne d'approvisionnement en calcul et en stockage pourrait être impactée.

De plus, il existe une situation plus complexe : la demande AI reste forte, mais la construction des centres de données est retardée en raison de contraintes de terrain, d'électricité ou d'infrastructure. Dans ce scénario, les produits de stockage pourraient avoir été produits, mais ne pourraient pas être consommés comme prévu en raison des retards dans le déploiement des serveurs, entraînant un déséquilibre temporaire entre l'offre et la demande.

Morgan Stanley estime que ces goulets d'étranglement de construction pourraient causer des perturbations supplémentaires pour les fabricants de stockage, et même faire apparaître une divergence de performance à court terme avec certaines entreprises de puces de calcul. Par conséquent, pour évaluer si le cycle de stockage peut se poursuivre, il ne suffit pas d'observer les prix de la DRAM et les commandes de HBM, mais il est également nécessaire de suivre les progrès réels des déploiements d'infrastructures AI.

L'impact final de la pénurie de stockage AI pourrait ne pas être de réduire l'utilisation de la mémoire dans l'industrie, mais de forcer le secteur à redéfinir : quelles données doivent rester dans le HBM, lesquelles peuvent être transférées vers la DRAM ou la NAND, et quelles tâches de calcul devraient être confiées à différents types de puces.

Pour les investisseurs, les variables clés à surveiller deviennent également de plus en plus claires : si la configuration de sortie réelle de Rubin diminue, si l'inférence découplée peut être mise en œuvre à une échelle commerciale, si les produits CXL peuvent être déployés comme prévu en 2027, et si la construction des centres de données AI continue d'absorber l'approvisionnement supplémentaire en stockage.

Si ces ajustements technologiques peuvent maintenir le déploiement des systèmes AI, tout en continuant à faire croître la demande de stockage à long terme, alors les chaînes d'approvisionnement en stockage et en interconnexion pourraient bénéficier ensemble ; mais si les investissements AI ralentissent, ou si les contraintes d'électricité et de terrain continuent d'entraver le déploiement des centres de données, la tension actuelle entre l'offre et la demande pourrait également faire face à une revalorisation.

C'est là le jugement le plus important de Morgan Stanley sur ce cycle de stockage AI : l'industrie doit véritablement résoudre non pas comment attendre plus de mémoire, mais comment continuer à élargir la capacité de calcul AI dans un contexte de mémoire toujours rare.