DDN Infinia 整合 NVIDIA 推論數據

DDN 將其儲存平台 Infinia 整合至 NVIDIA 的推論數據傳輸系統。此次合作的重點在於減少大型語言模型服務中 GPU 等待數據的時間。DDN 在 7 月 23 日的技術部落格中表示，Infinia NIXL 插件已包含在 NVIDIA 的 NIXL 1.3 發行版及 Dynamo 推論容器中。NIXL 是一個處理分散推論環境中 GPU、CPU、SSD 和物件儲存之間數據移動的庫。此次整合專注於 AI 推論過程中發生的 KV 快取移動，KV 快取是大型語言模型為了重用上下文而儲存的中間數據。NVIDIA Dynamo 文檔解釋了如何將 KV 快取移動到 GPU 記憶體、CPU 記憶體、SSD 和網絡連接儲存，以減少重新計算並降低響應延遲。從 NIXL 1.3 開始，Infinia 插件將包含在標準包中，只需額外添加 DDN 客戶端包即可。DDN 表示可以在不改變應用程式代碼的情況下，僅通過設置啟用 KV 快取加速功能。DDN 首席技術官斯文·外梅（Sven Oumei）解釋道，Infinia 直接向 GPU 提供上下文數據。此次合作與 AI 數據中心的儲存及傳輸瓶頸應對流程相關，DDN 和 NVIDIA 正在改善推論過程中將儲存的上下文數據傳輸至 GPU 的路徑。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。