کُگ، توانایی پردازش ۳۰۰۰ توکن در ثانیه با GPU های معمولی

استارتاپ فرانسوی کُگ استراتژی جدیدی را برای افزایش سرعت استنتاج AI با استفاده از GPU های معمولی در مراکز داده معرفی کرده است. کُگ رویکردی را اتخاذ کرده است که در آن نرم‌افزار و ساختار مدل به‌طور همزمان طراحی می‌شوند تا کارایی GPU های انویدیا و AMD را افزایش دهند. این شرکت اعلام کرده است که برای بهبود سرعت پاسخ به درخواست‌های عامل‌های AI، زمان اجرا، هسته‌های GPU و معماری مدل را در یک خط لوله بهینه شده ادغام کرده است. بر اساس پیش‌نمایش فناوری موتور استنتاج کُگ که در ۲۸ مه منتشر شد، این موتور می‌تواند در ۸ GPU AMD MI300X به ازای هر درخواست ۳۰۰۰ توکن خروجی در ثانیه پردازش کند، در حالی که ۸ GPU انویدیا H200 در همان شرایط ۲۱۰۰ توکن خروجی در ثانیه را ثبت کرده‌اند. کُگ هدف اصلی خود را بر روی عامل‌های کدنویسی AI و جریان‌های کاری مبتنی بر عامل متمرکز کرده است. مدل Laneformer 2B که در ۲۴ ژوئن در هگینگ فیس منتشر شد، دارای ۲.۳ میلیارد پارامتر است و عملکردی معادل ۴۵.۱٪ در HumanEval+ و ۵۱.۶٪ در MBPP+ را نشان داده است. کُگ در یک پست لینکدین در آگوست اعلام کرد که در یک دمو واقعی ۲۸۵۷ توکن در ثانیه ثبت کرده است. با این حال، تفسیر اعداد سرعت مورد بحث است و همچنین به دشواری مقایسه بر اساس اندازه مدل و سخت‌افزار اشاره شده است. هدف کُگ تأمین تأخیر کم در زیرساخت‌های GPU موجود است.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.