NVIDIA, AMD, Intel e altre 9 aziende fondano l'alleanza open source SGLang per l'inferenza

By: x.com|

Durante il primo SGLang Summit, NVIDIA, AMD e Intel hanno inusualmente unito le forze per costituire l'alleanza SGLang, diventando 9 membri fondatori e partecipando alla definizione della roadmap futura per il motore di inferenza AI open source. Questo summit ha attirato oltre 2000 partecipanti in loco. SGLang è il software di base per l'esecuzione di modelli di grandi dimensioni, responsabile della gestione delle richieste degli utenti, della pianificazione delle GPU, della gestione della memoria video e del riutilizzo dei risultati di calcolo, influenzando direttamente la velocità e i costi di esecuzione dei modelli AI. Dopo la fondazione dell'alleanza, i produttori di chip parteciperanno in modo più sistematico allo sviluppo, investendo ingegneri e risorse per i test, promuovendo l'ottimizzazione delle prestazioni hardware. I membri dell'alleanza si riuniranno due volte all'anno per le conferenze sulla roadmap, con le decisioni tecniche e i diritti di fusione del codice gestiti dal team di manutenzione di SGLang. Attualmente, 332 istituzioni hanno adottato SGLang, e Meta ha rivelato che, dopo la migrazione a SGLang, ha risparmiato oltre la metà delle risorse GPU nel suo ambiente di produzione su larga scala. Il summit ha anche annunciato la direzione di sviluppo per SGLang v1.0, con un focus sull'aumento della stabilità e della compatibilità nell'ambiente di produzione, mentre la versione ufficiale è ancora in fase di sviluppo. Inoltre, SGLang ha lanciato il supporto per la preview pubblica dei chip AWS Trainium e ha collaborato con Intel per ottimizzare le sue CPU, GPU e acceleratori, con il framework di apprendimento Miles v0.2 già rilasciato.

Prezzo di --

--
--
--

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.

Potrebbe interessarti anche

iconiconiconiconiconiconiconicon
Assistenza clienti:@weikecs
Cooperazione aziendale:@weikecs
Trading quantitativo e MM:bd@weex.com
Programma VIP:support@weex.com