DDN Infinia integra dados de inferência da NVIDIA

A DDN integrou a sua plataforma de armazenamento Infinia ao sistema de transmissão de dados de inferência da NVIDIA. Esta colaboração foca na redução do tempo que as GPUs esperam pelos dados em serviços de modelos de linguagem de grande escala. A DDN anunciou no seu blog técnico em 23 de julho que o plugin Infinia NIXL foi incluído na versão 1.3 da NIXL da NVIDIA e no container de inferência Dynamo. O NIXL é uma biblioteca que lida com a movimentação de dados entre GPUs, CPUs, SSDs e armazenamento de objetos em ambientes de inferência distribuída. A integração concentra-se na movimentação do cache KV que ocorre durante o processo de inferência de IA, sendo que o cache KV é um dado intermediário armazenado pelo LLM para reutilizar o contexto. A documentação da NVIDIA Dynamo explica que o cache KV pode ser movido para a memória da GPU, memória da CPU, SSD e armazenamento conectado à rede, reduzindo a recomputação e diminuindo a latência de resposta. A partir da versão 1.3 do NIXL, o plugin Infinia está incluído no pacote padrão, bastando adicionar apenas o pacote do cliente DDN. A DDN afirmou que é possível ativar a funcionalidade de aceleração do cache KV apenas com configurações, sem necessidade de alterar o código da aplicação. Sven Oume, CTO da DDN, explicou que o Infinia fornece diretamente os dados de contexto à GPU. Esta colaboração está relacionada ao fluxo de resposta a gargalos de armazenamento e transmissão em centros de dados de IA, e a DDN e a NVIDIA estão melhorando o caminho para mover os dados de contexto armazenados para a GPU durante o processo de inferência.

Este conteúdo é disponibilizado apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou fiscal. Quaisquer eventos, recompensas, promoções online ou informações relacionadas aqui mencionados não devem ser interpretados como uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar quaisquer outras operações com criptoativos. Os criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar consoante a região. O utilizador é responsável por garantir que a sua participação está em conformidade com a legislação e os regulamentos locais aplicáveis.