Ant Group i vLLM wspólnie otwierają źródło rdzenia Humming do kwantyfikacji

Ant Group i społeczność vLLM wspólnie otworzyli źródło Humming, wysokowydajnej biblioteki operatorów do kwantyfikacji. Humming obsługuje szeroki zakres urządzeń, w tym różne GPU oraz urządzenia kompatybilne z programowaniem CUDA. Biblioteka oferuje bogate wsparcie dla kwantyfikacji, wspierając różne kombinacje wag i formatów aktywacji w architekturze jednolitej, obejmując różne typy całkowite i zmiennoprzecinkowe, szerokości bitowe oraz metody skalowania. Humming osiąga znacząco lepszą wydajność w różnych typowych obciążeniach w porównaniu do istniejących implementacji, takich jak vLLM Marlin, FlashInfer i DeepGEMM.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.