DDN Infinia integra datos de inferencia de NVIDIA

DDN ha integrado su plataforma de almacenamiento Infinia con el sistema de transmisión de datos de inferencia de NVIDIA. Esta colaboración se centra en reducir el tiempo que las GPU esperan por los datos en los servicios de modelos de lenguaje de gran tamaño. DDN anunció en su blog técnico el 23 de julio que el complemento Infinia NIXL se incluye en la versión 1.3 de NIXL de NVIDIA y en el contenedor de inferencia Dynamo. NIXL es una biblioteca que gestiona el movimiento de datos entre GPU, CPU, SSD y almacenamiento de objetos en entornos de inferencia distribuidos. La integración se centra en el movimiento de la caché KV que ocurre durante el proceso de inferencia de IA, donde la caché KV es un dato intermedio que el LLM almacena para reutilizar el contexto. La documentación de NVIDIA Dynamo explica que la caché KV puede trasladarse a la memoria de la GPU, la memoria de la CPU, SSD y almacenamiento conectado a la red para reducir el recálculo y disminuir la latencia de respuesta. A partir de NIXL 1.3, el complemento Infinia se incluirá en el paquete estándar, y solo se necesita agregar el paquete del cliente DDN. DDN ha declarado que se puede activar la función de aceleración de la caché KV solo con la configuración, sin necesidad de modificar el código de la aplicación. Sven Oume, CTO de DDN, explicó que Infinia suministra directamente los datos de contexto a la GPU. Esta colaboración está relacionada con el flujo de respuesta a los cuellos de botella en el almacenamiento y transmisión en centros de datos de IA, y DDN y NVIDIA están mejorando el camino para trasladar los datos de contexto almacenados a la GPU durante el proceso de inferencia.