Kog, có thể xử lý 3000 token mỗi giây bằng GPU thông thường

Công ty khởi nghiệp Pháp Kog đã công bố một chiến lược nhằm tăng tốc độ suy luận AI trên GPU trung tâm dữ liệu thông thường. Kog đã áp dụng cách tiếp cận thiết kế phần mềm và cấu trúc mô hình cùng nhau để nâng cao hiệu quả sử dụng GPU của NVIDIA và AMD. Kog cho biết họ đã tích hợp runtime, GPU kernel và kiến trúc mô hình vào một pipeline tối ưu hóa để cải thiện tốc độ phản hồi cho các yêu cầu của AI agent. Theo bản preview công nghệ Kog Inference Engine được công bố vào ngày 28 tháng 5, 8 GPU AMD MI300X có thể xử lý 3000 token đầu ra mỗi giây cho mỗi yêu cầu, trong khi 8 GPU NVIDIA H200 cùng điều kiện ghi nhận 2100 token đầu ra mỗi giây. Kog đang nhắm đến các ứng dụng chính là AI coding agent và workflow dạng agent. Mô hình Laneformer 2B được công bố trên Hugging Face vào ngày 24 tháng 6 có 2.3 tỷ tham số và đạt hiệu suất 45.1% trên HumanEval+ và 51.6% trên MBPP+. Kog đã thông báo trong một bài đăng trên LinkedIn vào tháng 8 rằng họ đã ghi nhận 2857 token mỗi giây trong một buổi demo thực tế. Tuy nhiên, có những tranh cãi về cách diễn giải các con số tốc độ, và cũng có ý kiến cho rằng việc so sánh là khó khăn do kích thước mô hình và phần cứng khác nhau. Mục tiêu của Kog là đảm bảo độ trễ thấp trên hạ tầng GPU hiện có.

Nội dung này chỉ được đưa ra nhằm mục đích cung cấp thông tin chung, không phải là lời khuyên về tài chính, đầu tư, pháp lý hoặc thuế. Mọi sự kiện, phần thưởng, ưu đãi trực tuyến hoặc thông tin liên quan được đề cập trong nội dung này không được xem là khuyến nghị, chào mời hoặc lời mời mua, bán, giao dịch hoặc thực hiện bất kỳ hoạt động nào khác liên quan đến tài sản crypto. Tài sản crypto có độ biến động cao và có thể dẫn đến thua lỗ.Tính khả dụng của các dịch vụ, sản phẩm và sự kiện liên quan của WEEX có thể khác nhau tùy theo khu vực. Bạn có trách nhiệm bảo đảm việc tham gia của mình tuân thủ các luật và quy định hiện hành tại địa phương.