DDN Infinia интегрирована с системой передачи данных для вывода NVIDIA

DDN интегрировала свою платформу хранения Infinia с системой передачи данных для вывода NVIDIA. Это сотрудничество сосредоточено на сокращении времени ожидания данных для GPU в сервисах больших языковых моделей. DDN объявила 23 июля в своем техническом блоге, что плагин Infinia NIXL включен в дистрибутив NVIDIA NIXL 1.3 и контейнеры вывода Dynamo. NIXL — это библиотека, обрабатывающая перемещение данных между GPU, CPU, SSD и объектным хранилищем в распределенной среде вывода. Интеграция сосредоточена на перемещении KV-кэша, возникающего в процессе вывода AI, где KV-кэш — это промежуточные данные, которые LLM сохраняет для повторного использования контекста. Документация NVIDIA Dynamo объясняет, что KV-кэш может быть перемещен из памяти GPU и CPU, SSD и сетевого хранилища, чтобы уменьшить перерасчет и снизить задержку ответа. Начиная с NIXL 1.3, плагин Infinia будет включен в стандартный пакет, и достаточно будет добавить только клиентский пакет DDN. DDN заявила, что может активировать функцию ускорения KV-кэша только с помощью настройки, без изменения кода приложения. Свен Ойме, CTO DDN, объяснил, что Infinia напрямую поставляет контекстные данные в GPU. Это сотрудничество связано с устранением узких мест в хранении и передаче данных в AI-центрах обработки данных, и DDN вместе с NVIDIA улучшает путь перемещения сохраненных контекстных данных в GPU в процессе вывода.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.