إنفيديا تطلق NeMo Switchyard، تستخدم تقنية توجيه نماذج الذكاء الاصطناعي لتقليل تكاليف تشغيل الوكلاء الذكيين

أعلنت Odaily Planet Daily عن إطلاق نظام توجيه نماذج الذكاء الاصطناعي NeMo Switchyard، والذي يهدف إلى مساعدة المطورين في توزيع مهام الوكلاء الذكيين (AI Agent) ديناميكيًا بين نماذج كبيرة متعددة، مع ضمان الأداء وتقليل التكاليف والوقت المستغرق.

وأوضحت أن بناء الوكلاء الذكيين لا يعني أنه يجب الاعتماد على نموذج كبير واحد فقط. فكل نموذج له مزاياه في قدرات الاستدلال وسرعة الاستجابة وتكاليف التشغيل، على سبيل المثال، قد تكون المهام التصنيفية مناسبة للنماذج الخفيفة، بينما تحتاج الاستدلالات المعقدة إلى نماذج متقدمة أكثر قوة. إذا تم إرسال جميع الطلبات إلى أكبر نموذج، فسوف يؤدي ذلك إلى زيادة التكاليف والوقت المستغرق؛ بينما استخدام جميع النماذج الصغيرة قد يقلل من جودة إتمام المهام المعقدة. يقوم NeMo Switchyard من خلال آلية توجيه ذكية، باختيار النموذج الأنسب للتنفيذ تلقائيًا بين النماذج المتخصصة والنماذج المتقدمة، بناءً على متطلبات المهمة، وقدرات النموذج، والتكاليف، والوقت المستغرق، وحالة النظام. يدعم هذا النظام المطورين في تبديل مزودي النماذج وإصدارات النماذج دون تغيير بنية التطبيق.

كما قدمت NeMo Switchyard مجموعة متنوعة من استراتيجيات التوجيه، بما في ذلك توجيه مصنف LLM بدون تدريب، وتوجيه المرحلة (Stage Router)، وتوجيه التصعيد (Escalation Router)، بالإضافة إلى نموذج توجيه قابل للتعديل تم تدريبه بناءً على بيانات الحمل العمل الحقيقي. من بين هذه الاستراتيجيات، يقوم توجيه التصعيد بتوزيع المهام أولاً على النماذج ذات التكلفة المنخفضة، وعند اكتشاف زيادة في تعقيد المهمة أو الأخطاء المستمرة أو توقف التنفيذ، يتم ترقية الطلب إلى نموذج أقوى، مما يحقق التوازن بين الأداء والتكلفة.

وأشارت إلى أنه في الاختبارات ذات الصلة، تمكن NeMo Switchyard من تقليل تكاليف تشغيل الوكلاء الذكيين بشكل ملحوظ من خلال توزيع المهام بين النماذج المختلفة، مع الحفاظ على معدل إتمام المهام مرتفعًا. على سبيل المثال، مقارنةً باستخدام النماذج المتقدمة فقط، فإن الحل القائم على توجيه التصعيد قلل التكاليف بنحو 74% في اختبارات الوكلاء الذكيين متعددة الجولات LangChain، حيث كانت 7% فقط من الطلبات تحتاج إلى استدعاء النموذج المتقدم.

بالإضافة إلى ذلك، تم التعاون مع شركات مثل Cognition وNous Research وRamp وLangChain وLiteLLM وKong، لدمج NeMo Switchyard في عمليات تطوير الوكلاء الذكيين والبنية التحتية لتطبيقات الشركات.

يُقدَّم هذا المحتوى لأغراض معلوماتية عامة فقط، ولا يُشكل مشورة مالية أو استثمارية أو قانونية أو ضريبية. ولا ينبغي اعتبار أي فعاليات أو مكافآت أو عروض ترويجية عبر الإنترنت أو أي معلومات ذات صلة واردة فيه توصيةً أو طلبًا أو دعوةً لشراء الأصول المشفرة أو بيعها أو تداولها أو إجراء أي معاملات أخرى عليها. تتميز الأصول المشفرة بتقلبات سعرية مرتفعة وقد تؤدي إلى خسائر. وقد يختلف مدى توفر خدمات WEEX ومنتجاتها والفعاليات المرتبطة بها حسب المنطقة. وتقع على عاتقك مسؤولية التأكد من أن مشاركتك تتوافق مع القوانين واللوائح المحلية المعمول بها.