شركة Kog الفرنسية الناشئة في مجال الذكاء الاصطناعي تراهن على تسريع استدلال GPU عبر البرمجيات

تتزايد المنافسة في تسريع استدلال الذكاء الاصطناعي. لم تختار الشركة الناشئة الفرنسية Kog تطوير شرائحها الخاصة، بل تراهن على تحسين البرمجيات الأساسية لتحرير قدرة استدلال GPU في مراكز البيانات الحالية للشركات.

استهداف السيناريوهات ذات التأخير العالي أولاً

حظيت هذه الشركة باهتمام في مايو من هذا العام بسبب عرض تقني. في ذلك الوقت، عرضت Kog أنه باستخدام GPU قياسية مثل AMD MI300X وNvidia H200، يمكن تحقيق سرعة فك تشفير سريعة للغاية لكل طلب. ثم ذكرت الشركة أن هذا العرض أدى إلى حوالي 200 فرصة تجارية واضحة.

تولي Kog حالياً أولوية للاهتمام بتدفقات العمل الاحترافية التي تتطلب استجابة سريعة، وخاصة في سيناريوهات هندسة البرمجيات. وفقًا للشركة، قد يستغرق بعض المستخدمين الذين يعتمدون بشكل كبير على توليد الشفرات ساعات طويلة في انتظار النتائج، مما يجعل تأخير الاستدلال مشكلة مهمة تؤثر على تجربة الاستخدام والتكاليف.

تعمل الشركة أيضًا مع بعض الشركاء التصميميين لدفع تطبيقاتها إلى السوق. تسمح هذه النوعية من العملاء للمستخدمين بتوليد ألعاب أو تطبيقات من خلال كلمات مفتاحية، وإذا تم تحسين سرعة الاستدلال، فإن ذلك يعني عادة كفاءة تحويل أعلى ومساحة أكبر للإيرادات.

النماذج الصغيرة حققت 3000 TPS

قدمت Kog سابقًا هدف "تسريع استدلال النماذج الكبيرة بمقدار 30 مرة"، لكن العروض العامة الحالية لا تزال تعتمد بشكل رئيسي على النماذج الصغيرة. العرض الذي قدموه استخدم نموذج Laneformer 2B الذي يحتوي على حوالي 2 مليار معلمة، حيث وصلت سرعة استدلال الطلب الواحد إلى 3000 توكن في الثانية. هذا النموذج متاح الآن كمصدر مفتوح.

ومع ذلك، لم تتوقف الطلبات في السوق عند ضبط النماذج الصغيرة. ذكرت Kog أن العملاء المحتملين لا يعتزمون التركيز على النماذج الصغيرة، لذا منذ عرضها، حولت الشركة معظم جهدها نحو تطوير تسريع النماذج الأكبر لتلبية الاحتياجات الفعلية.

التحقق من قدرة النماذج الكبيرة في سبتمبر

تعتقد Kog أن إمكانيات GPU في فك تشفير الاستدلال لم يتم استغلالها بالكامل بعد. قال الرئيس التنفيذي للشركة Gaël Delalleau إنه مع استمرار تحسين عرض النطاق الترددي لذاكرة GPU من الجيل الجديد، لا يزال هناك مجال كبير لتحسين البرمجيات.

تكمن تكلفة هذه الطريقة في طول فترة البحث والتطوير. ذكرت Kog أن كلما تم تكييف GPU جديد، يحتاج الفريق غالبًا إلى استثمار أسابيع أو حتى أشهر في البحث على المستوى المادي. بالنظر إلى حجم الفريق الحالي المكون من 11 شخصًا، لا يزال عدد الشرائح التي يمكن للشركة دعمها على المدى القصير محدودًا.

تخطط Kog في المستقبل لدمج هذه الطريقة تدريجيًا في عمليات البحث والتطوير المعتمدة على الذكاء الاصطناعي لدعم المزيد من الشرائح والنماذج. النقطة الأكثر أهمية في الوقت الحالي هي إثبات أن هذا المسار يمكن أن ينجح مع النماذج الكبيرة. يتوقع Delalleau أن الشركة ستكمل تحقيق تسريع بمقدار 10 مرات للنموذج الرئيسي الأول في سبتمبر، مما سيمكنها من عرض تقدم العملاء ودفع جولة التمويل التالية.

يُقدَّم هذا المحتوى لأغراض معلوماتية عامة فقط، ولا يُشكل مشورة مالية أو استثمارية أو قانونية أو ضريبية. ولا ينبغي اعتبار أي فعاليات أو مكافآت أو عروض ترويجية عبر الإنترنت أو أي معلومات ذات صلة واردة فيه توصيةً أو طلبًا أو دعوةً لشراء الأصول المشفرة أو بيعها أو تداولها أو إجراء أي معاملات أخرى عليها. تتميز الأصول المشفرة بتقلبات سعرية مرتفعة وقد تؤدي إلى خسائر. وقد يختلف مدى توفر خدمات WEEX ومنتجاتها والفعاليات المرتبطة بها حسب المنطقة. وتقع على عاتقك مسؤولية التأكد من أن مشاركتك تتوافق مع القوانين واللوائح المحلية المعمول بها.