Kog, Mampu Memproses 3000 Token per Detik dengan GPU Umum

Perusahaan rintisan Prancis, Kog, telah mengumumkan strategi untuk meningkatkan kecepatan inferensi AI pada GPU data center umum. Kog mengadopsi pendekatan yang merancang perangkat lunak dan struktur model secara bersamaan untuk meningkatkan pemanfaatan GPU dari NVIDIA dan AMD. Kog mengungkapkan bahwa mereka telah mengintegrasikan runtime, kernel GPU, dan arsitektur model ke dalam pipeline yang dioptimalkan untuk meningkatkan kecepatan respons terhadap permintaan agen AI. Menurut pratinjau teknologi mesin inferensi Kog yang dirilis pada 28 Mei, delapan GPU AMD MI300X dapat memproses 3000 token output per detik per permintaan, sementara delapan GPU NVIDIA H200 dengan kondisi yang sama mencatat 2100 token output per detik. Kog menargetkan agen pemrograman AI dan alur kerja berbasis agen sebagai aplikasi utama. Model Laneformer 2B yang dirilis di Hugging Face pada 24 Juni memiliki 2,3 miliar parameter dan menunjukkan kinerja 45,1% pada HumanEval+ dan 51,6% pada MBPP+. Kog menyatakan dalam posting LinkedIn pada bulan Agustus bahwa mereka mencatat 2857 token per detik dalam demo langsung. Namun, ada kontroversi mengenai interpretasi angka kecepatan, dan sulit untuk membandingkan karena ukuran model dan perangkat keras yang berbeda. Tujuan Kog adalah untuk memastikan latensi rendah pada infrastruktur GPU yang ada.

Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.