Ant Group e vLLM collaborano per open source il nucleo di inferenza quantistica Humming

Ant Group e la comunità vLLM hanno collaborato per open source Humming, una libreria di operatori di inferenza quantistica ad alte prestazioni. Humming supporta una vasta gamma di dispositivi, inclusi vari GPU e dispositivi compatibili con la programmazione CUDA. Questa libreria offre un ampio supporto per la quantizzazione, supportando una combinazione di vari formati di pesi e attivazioni in Dense e MoE attraverso un'architettura unificata, coprendo vari tipi interi e in virgola mobile, larghezze di bit e modalità di scaling. Humming mostra prestazioni significativamente superiori rispetto alle implementazioni esistenti in vari carichi di lavoro tipici, come vLLM Marlin, FlashInfer e DeepGEMM.

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.