NVIDIA, AMD, Intel và 9 công ty khác cùng xây dựng Liên minh SGLang mã nguồn mở

Tại Hội nghị thượng đỉnh SGLang đầu tiên, NVIDIA, AMD và Intel đã hiếm hoi hợp tác thành lập Liên minh SGLang, trở thành 9 thành viên sáng lập, tham gia vào việc định hình lộ trình tương lai của động cơ suy diễn AI mã nguồn mở. Hội nghị này thu hút hơn 2000 người tham dự trực tiếp. SGLang là phần mềm nền tảng cho thời gian chạy của mô hình lớn, chịu trách nhiệm xử lý yêu cầu của người dùng, lập lịch GPU, quản lý bộ nhớ đồ họa và tái sử dụng kết quả tính toán, ảnh hưởng trực tiếp đến tốc độ và chi phí hoạt động của mô hình AI. Sau khi liên minh được thành lập, các nhà sản xuất chip sẽ tham gia phát triển một cách hệ thống hơn, đầu tư kỹ sư và tài nguyên thử nghiệm, thúc đẩy tối ưu hóa hiệu suất phần cứng. Các thành viên của liên minh sẽ tổ chức hai cuộc họp lộ trình mỗi năm, quyền quyết định kỹ thuật và hợp nhất mã sẽ được nắm giữ bởi đội ngũ bảo trì SGLang. Hiện tại đã có 332 tổ chức áp dụng SGLang, Meta tiết lộ rằng sau khi chuyển sang SGLang, tài nguyên GPU trong môi trường sản xuất quy mô lớn của họ đã tiết kiệm được hơn một nửa. Hội nghị cũng đã công bố hướng phát triển của SGLang v1.0, tập trung vào việc nâng cao tính ổn định và khả năng tương thích trong môi trường sản xuất, phiên bản chính thức vẫn đang được phát triển. Đồng thời, SGLang đã ra mắt hỗ trợ xem trước công khai cho chip AWS Trainium và hợp tác với Intel để tối ưu hóa CPU, GPU và bộ tăng tốc của họ, khung học tăng cường Miles v0.2 cũng đã được phát hành.

Giá --

--
--
--

Nội dung này chỉ được đưa ra nhằm mục đích cung cấp thông tin chung, không phải là lời khuyên về tài chính, đầu tư, pháp lý hoặc thuế. Mọi sự kiện, phần thưởng, ưu đãi trực tuyến hoặc thông tin liên quan được đề cập trong nội dung này không được xem là khuyến nghị, chào mời hoặc lời mời mua, bán, giao dịch hoặc thực hiện bất kỳ hoạt động nào khác liên quan đến tài sản crypto. Tài sản crypto có độ biến động cao và có thể dẫn đến thua lỗ.Tính khả dụng của các dịch vụ, sản phẩm và sự kiện liên quan của WEEX có thể khác nhau tùy theo khu vực. Bạn có trách nhiệm bảo đảm việc tham gia của mình tuân thủ các luật và quy định hiện hành tại địa phương.

Bạn cũng có thể thích

Bài viết mới nhất

Niêm yết coin mới nhất trên WEEX

iconiconiconiconiconiconiconiconicon
Bộ phận CSKH:@weikecs
Hợp tác kinh doanh:@weikecs
Giao dịch Định lượng & MM:bd@weex.com
Chương trình VIP:support@weex.com