DDN Infinia, intégration des données d'inférence d'NVIDIA

DDN a intégré sa plateforme de stockage Infinia au système de transmission de données d'inférence d'NVIDIA. Cette collaboration vise à réduire le temps d'attente des GPU pour les données dans les services de modèles de langage de grande taille. DDN a annoncé le 23 juillet sur son blog technique que le plugin Infinia NIXL est inclus dans la version 1.3 de NIXL d'NVIDIA et dans le conteneur d'inférence Dynamo. NIXL est une bibliothèque qui gère le déplacement des données entre GPU, CPU, SSD et stockage d'objets dans un environnement d'inférence distribué. L'intégration se concentre sur le mouvement du cache KV qui se produit lors du processus d'inférence AI, le cache KV étant les données intermédiaires que le LLM stocke pour réutiliser le contexte. La documentation de NVIDIA Dynamo explique que le cache KV peut être déplacé vers la mémoire GPU, la mémoire CPU, le SSD et le stockage connecté en réseau pour réduire le recalcul et diminuer la latence de réponse. À partir de NIXL 1.3, le plugin Infinia est inclus dans le package standard, il suffit d'ajouter le package client DDN. DDN a déclaré qu'il est possible d'activer la fonctionnalité d'accélération du cache KV simplement par la configuration, sans modifier le code de l'application. Sven Oume, CTO de DDN, a expliqué qu'Infinia fournit directement les données contextuelles au GPU. Cette collaboration est liée à la gestion des goulets d'étranglement dans le stockage et la transmission des centres de données AI, et DDN et NVIDIA améliorent le chemin pour déplacer les données contextuelles stockées vers le GPU lors du processus d'inférence.