DDNインフィニア、NVIDIA推論データ統合

DDNはストレージプラットフォームインフィニアをNVIDIAの推論データ転送システムに統合しました。このコラボレーションは、大規模言語モデルサービスにおいてGPUがデータを待つ時間を短縮することに焦点を当てています。DDNは7月23日に技術ブログで、インフィニアNIXLプラグインがNVIDIAのNIXL 1.3リリースとDynamo推論コンテナに含まれていることを発表しました。NIXLは分散推論環境におけるGPU、CPU、SSD、オブジェクトストレージ間のデータ移動を処理するライブラリです。統合はAI推論プロセスで発生するKVキャッシュの移動に重点を置いており、KVキャッシュはLLMが文脈を再利用するために保存する中間データです。NVIDIA Dynamoのドキュメントは、KVキャッシュをGPUメモリ、CPUメモリ、SSD、ネットワーク接続ストレージに移動させることで再計算を減らし、応答遅延を低下させることができると説明しています。NIXL 1.3以降、インフィニアプラグインは標準パッケージに含まれ、DDNクライアントパッケージを追加するだけで済みます。DDNはアプリケーションコードを変更することなく、設定だけでKVキャッシュの加速機能を有効にできると述べています。スヴェン・オイメDDN CTOは、インフィニアがGPUに文脈データを直接供給すると説明しました。このコラボレーションはAIデータセンターのストレージと転送のボトルネックに対処する流れに関連しており、DDNとNVIDIAは推論プロセスで保存された文脈データをGPUに移動させる経路を改善しています。

本コンテンツは、一般的な情報提供のみを目的としたものであり、金融、投資、法律、または税務に関する助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインキャンペーン、またはそれらに関連する情報は、暗号資産の購入、売却、取引、その他いかなる取引の推奨、勧誘、または招待とみなされるべきではありません。暗号資産は価格変動が非常に大きく、損失が発生する可能性があります。WEEXのサービス、プロダクト、および関連イベントの提供状況は、地域によって異なる場合があります。お客様は、ご自身の参加が適用される現地の法令を遵守していることを自ら確認する責任を負うものとします。