Entrevista reciente de SemiAnalysis: el almacenamiento aún tiene espacio para duplicarse, se debe tener precaución con el CPO a corto y medio plazo, y la CPU es solo un actor secundario

Fuente: Wall Street Watch

Cada capa de la infraestructura de IA está bajo presión simultáneamente, y las oportunidades coexisten con los errores de juicio.

Dylan Patel, fundador de SemiAnalysis, fue entrevistado recientemente en un pódcast, donde analizó sistemáticamente las dinámicas centrales y la lógica de inversión en la pila de infraestructura de IA actual.

Sus juicios abarcan la economía de modelos, el superciclo de memoria, la revalorización de la CPU, los riesgos en la línea de tiempo del CPO, así como las oportunidades estructurales en el suministro de energía de los centros de datos.

En respuesta a las dudas generales del mercado sobre el retorno de inversión (ROI) en IA, Dylan reveló que Anthropic logró un flujo de caja libre positivo en el segundo trimestre de este año, con ingresos recurrentes anuales que superan los 50 mil millones de dólares y un margen bruto superior al 70%. En el lado empresarial, el reciente aumento en la productividad traído por los nuevos modelos de IA supera con creces el aumento en los costos de computación, lo que lleva a las empresas a recortar otros gastos en software para mantener un presupuesto explosivo en IA.

En el ámbito de la evolución del hardware, la transición hacia modelos de inferencia está reestructurando la demanda del mercado.

Dylan enfatiza que el almacenamiento enfrenta una escasez estructural que podría durar años, con un potencial de crecimiento de 2 a 3 veces; al mismo tiempo, aunque los agentes y el aprendizaje reforzado han aumentado la demanda de CPU, el mercado de vendedores ha fijado precios excesivos, el crecimiento de la CPU proviene principalmente de un "ajuste histórico", y su valor absoluto en los servidores de IA sigue siendo muy inferior al de las GPU.

Dylan considera que el tiempo de implementación a gran escala del muy esperado CPO (Co-Packaged Optics) se ha pospuesto claramente hasta finales de 2028 o principios de 2029, lo que ha prolongado inesperadamente el período de bonanza de los conectores de cobre. La restricción en la transmisión y distribución de energía está obligando a los centros de datos a recurrir a "fuentes de energía detrás del medidor" (autogeneración), lo que genera enormes oportunidades de inversión en la cadena de suministro de energía industrial y conversión eléctrica, además de las inversiones tradicionales en chips.

Anthropic lidera la generación de ingresos, la narrativa de la demanda de IA comienza a materializarse

En respuesta a las dudas sobre el ROI de las empresas de IA en el mercado, Dylan Patel proporcionó datos concretos.

"Anthropic ya ha logrado un flujo de caja libre positivo en el segundo trimestre, con ganancias en abril, mayo y parece que junio también será similar," dijo. Añadió que los ingresos recurrentes anuales de Anthropic han superado los 50 mil millones de dólares, con un margen bruto superior al 70%. Los ingresos de OpenAI también han crecido rápidamente con el aumento en la adopción de Codex.

La trayectoria de gastos de SemiAnalysis también confirma esta tendencia. En noviembre pasado, el equipo de 90 personas de la empresa tenía un gasto anual en IA de menos de 100 mil dólares; para finales de enero de este año, debido al despliegue masivo de Claude Code, esta cifra se disparó a 4 millones de dólares anuales; actualmente ha alcanzado los 11 millones de dólares, con un pico que alcanzó temporalmente los 14 millones de dólares anuales. "El costo de la mano de obra más el costo de IA ya supera un tercio, y probablemente alcanzará la mitad antes de fin de año."

También señaló que los modelos más nuevos y más potentes no necesariamente son más caros en la práctica. Un modelo antiguo puede requerir 100,000 tokens y 10 interacciones para completar una tarea, mientras que un nuevo modelo puede necesitar solo 25,000 tokens y 1 interacción. "Cada vez que un modelo pasa de 4.6 Opus a 4.7 Opus, nuestros gastos bajan durante una semana y luego vuelven a dispararse, porque todos ven que ahora pueden hacer cosas que antes no podían."

Considera que esta es también una de las razones clave por las que Anthropic tiene una ventaja en la competencia con OpenAI: mayor eficiencia en tokens y costos generales más bajos para los usuarios.

Memoria: escasez estructural, no un ciclo ordinario

Entre todas las categorías de hardware, Dylan Patel tiene la opinión más firme sobre la memoria.

"No es una escasez a corto plazo, es una escasez estructural que durará años." Señaló que la capacidad de producción de memoria solo crece entre un 20% y un 30% al año, mientras que la demanda en el lado de la IA está duplicándose, y esta brecha seguirá ampliándose.

La lógica central que impulsa este juicio proviene del impacto de los modelos de inferencia en la caché KV. La longitud del contexto en la inferencia conversacional tradicional se mide en miles de tokens, consumiendo una cantidad limitada de caché KV; pero con la aparición de modelos de inferencia como o1, la longitud del contexto ha crecido explosivamente, lo que ha llevado a una expansión drástica de la caché KV, convirtiendo a la memoria en la categoría más beneficiada. SemiAnalysis publicará un informe en diciembre de 2024 que señalará específicamente esta tendencia.

Las restricciones rígidas del lado de la oferta obligarán al mercado descendente a redistribuir los limitados recursos de memoria. Predice que los productos electrónicos de consumo con baja elasticidad de precios serán los primeros en verse afectados: las ventas de fabricantes de teléfonos de gama media y baja han caído un 40%, y los precios del iPhone y MacBook aumentarán el próximo año. "La memoria seguirá subiendo de precio, y los productos electrónicos de consumo se verán comprimidos a un nuevo nivel, hasta que la IA obtenga la memoria que necesita, no se considerará realmente suficiente."

Agregó que incluso si un ciclo descendente llega, "desde el valle hasta el valle, el crecimiento a largo plazo es indiscutible."

CPU: mercado limitado para compensar, no extrapolar en exceso

La CPU ha emergido como un nuevo protagonista en la narrativa de infraestructura de IA de este año, pero Dylan Patel tiene una postura clara de advertencia al respecto.

La lógica de la recuperación de la demanda de CPU es clara: el aprendizaje reforzado requiere una gran cantidad de CPU para ejecutar validaciones de entorno (pruebas de unidad de código, simulaciones, etc.); la inferencia de agentes requiere que los modelos llamen herramientas con frecuencia e interactúen con el mundo real, operaciones que dependen en gran medida de la potencia de cálculo de la CPU.

Al mismo tiempo, en los últimos años, se han enviado grandes cantidades de chips de IA, mientras que la CPU ha estado gravemente subestimada, y actualmente se encuentra en una fase de compensación concentrada, beneficiando a ARM, Intel y AMD, y la CPU Vera de Nvidia también ha dado una guía de ingresos de 20 mil millones de dólares.

"Pero quiero dar una advertencia importante: hay un gran efecto de compensación aquí." Dijo que una vez que se complete la compensación de deudas históricas, solo quedará la demanda incremental, y la demanda volverá a la normalidad. En términos de montos absolutos, Blackwell cuesta alrededor de 50 mil dólares por unidad, mientras que la CPU cuesta alrededor de 5 mil dólares; incluso si en proporción se asignan más CPU, el monto en dólares sigue siendo muy inferior al de los chips aceleradores de IA.

"La memoria y los chips aceleradores de IA son los grandes protagonistas, la CPU es una revalorización después de ser subestimada, ahora ya tiene un precio más razonable, pero no crecerá indefinidamente a un ritmo superior al de los chips de IA."

Interconexión óptica: optimismo a largo plazo, precaución a corto y medio plazo con el CPO

La interconexión de redes y óptica es otro campo con un alto entusiasmo del mercado, pero Dylan Patel tiene una actitud cautelosa hacia el ritmo de implementación del CPO (Co-Packaged Optics).

"El verdadero inicio de la producción a gran escala del CPO, mi juicio es que será a finales de 2028 o principios de 2029." Señaló que actualmente, las tasas de fabricación, el diseño de chips y la madurez de la cadena de suministro no han alcanzado los estándares para un despliegue a gran escala, y la arquitectura Rubin de Nvidia y su sucesora Feynman seguirán utilizando soluciones de cobre, el CPO en el lado de la GPU aún necesita esperar varias generaciones de iteraciones de chips.

Reveló que SemiAnalysis acaba de publicar un informe para sus clientes institucionales, y a medio plazo, es más optimista sobre los cables de cobre y las soluciones ópticas no CPO, manteniendo una actitud cautelosa hacia el CPO. Algunos cambios en el diseño de chips descendentes (como la eliminación del diseño de 800V en el Rubin Ultra) han retrasado aún más el tiempo de implementación del CPO. Empresas como Amphenol, que fabrican conectores de cobre, se beneficiarán más de lo esperado.

"El CPO ocurrirá a largo plazo, los cables de cobre serán reemplazados a largo plazo, pero la línea de tiempo se ha retrasado, y a corto y medio plazo, los cables de cobre aún tienen grandes oportunidades."

Energía: la autogeneración se convertirá en la norma, múltiples caminos de innovación

El suministro de energía de los centros de datos se está convirtiendo en la restricción física más dura para el crecimiento de la IA.

Según las predicciones de Dylan Patel, el consumo de energía de los nuevos centros de datos será de 20 GW este año, 30 GW el próximo año y 50 GW el año siguiente, con un crecimiento casi explosivo.

Desglosó el problema energético en tres dimensiones: transmisión, generación y conversión. La transmisión es el eslabón más difícil de romper, involucrando políticas regulatorias, la estructura de monopolio de las empresas eléctricas locales y mecanismos de distribución de costos, que son difíciles de cambiar a corto plazo. La generación y conversión, por otro lado, ofrecen amplias oportunidades.

Predice que en los próximos años, la mitad del consumo de energía de los nuevos centros de datos provendrá de "fuentes de energía detrás del medidor", es decir, de la autogeneración de empresas, en lugar de depender de la red eléctrica pública.

Actualmente, la solución principal es la planta de ciclo combinado de gas (CCGT), proveniente de empresas como GE Vernova, Mitsubishi y Siemens; también han surgido soluciones no tradicionales como motores de pistón, turbinas de gas industriales e incluso motores adaptados de barcos, trenes y camiones. "Suena tosco, pero funciona, y ya se está utilizando."

A más largo plazo, estima que en aproximadamente dos años, el costo combinado de la energía solar y el almacenamiento será inferior al de la generación de energía a gas; y en un futuro más lejano, se prevé la creación de centros de datos en el espacio, donde los chips de computación se desplegarán en órbita, las placas solares no necesitarán atravesar la atmósfera, lo que proporciona una densidad de energía mucho mayor que en la superficie, y sin necesidad de almacenamiento.

El lado de la conversión también está lleno de oportunidades de inversión, desde IGBT, carburo de silicio hasta MOSFET de nitruro de galio, así como transformadores sólidos, UPS y supercapacitores, toda la cadena de conversión de voltaje está evolucionando rápidamente.

Actualmente, el departamento de investigación más grande de SemiAnalysis ya no es el de semiconductores, sino su equipo interno llamado "DEI" (Centros de Datos, Energía e Industria), que rastrea la dinámica de despliegue de cada centro de datos y planta de energía en el mundo.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.