انودا نِمو سوئیچ یارد را معرفی کرد، با استفاده از فناوری مسیریابی مدل‌های هوش مصنوعی هزینه‌های عملیاتی عاملان هوش مصنوعی را کاهش می‌دهد

Odaily روزنامه ستاره‌ای گزارش می‌دهد که سیستم مسیریابی مدل هوش مصنوعی نِمو سوئیچ یارد را معرفی کرده است، که هدف آن کمک به توسعه‌دهندگان در تخصیص دینامیک وظایف عاملان هوش مصنوعی (AI Agent) بین چندین مدل بزرگ است، در حالی که هزینه و تأخیر را کاهش می‌دهد و عملکرد را تضمین می‌کند.

این سیستم بیان می‌کند که ساخت عاملان هوش مصنوعی به معنای وابستگی به یک مدل بزرگ نیست. مدل‌های مختلف در توانایی استنتاج، سرعت پاسخ و هزینه‌های عملیاتی مزایای خاص خود را دارند؛ به عنوان مثال، وظایف طبقه‌بندی ممکن است برای مدل‌های سبک مناسب باشند، در حالی که استنتاج‌های پیچیده به مدل‌های پیشرفته‌تری نیاز دارند. اگر تمام درخواست‌ها به بزرگ‌ترین مدل ارسال شوند، هزینه و تأخیر افزایش می‌یابد؛ در حالی که استفاده کامل از مدل‌های کوچک ممکن است کیفیت انجام وظایف پیچیده را کاهش دهد. نِمو سوئیچ یارد از طریق مکانیزم مسیریابی هوشمند، با توجه به نیازهای وظیفه، توانایی مدل، هزینه، تأخیر و وضعیت سیستم، به طور خودکار مناسب‌ترین مدل اجرایی را از بین چندین مدل اختصاصی و مدل‌های پیشرفته انتخاب می‌کند. این سیستم به توسعه‌دهندگان اجازه می‌دهد تا بدون تغییر در معماری برنامه، بین تأمین‌کنندگان مدل و نسخه‌های مدل مختلف جابجا شوند.

این سیستم همچنین معرفی می‌کند که نِمو سوئیچ یارد چندین استراتژی مسیریابی را ارائه می‌دهد، از جمله مسیریابی طبقه‌بندی‌کننده LLM بدون نیاز به آموزش، مسیریابی مرحله‌ای (Stage Router)، مسیریابی ارتقاء (Escalation Router) و مدل‌های مسیریابی قابل تنظیم که بر اساس داده‌های واقعی بار کاری آموزش دیده‌اند. در این میان، مسیریابی ارتقاء به طور اولویت‌دار وظایف را به مدل‌های کم‌هزینه تخصیص می‌دهد و در صورت شناسایی افزایش پیچیدگی وظیفه، خطاهای مداوم یا توقف اجرا، درخواست‌ها را به مدل‌های قوی‌تر ارتقاء می‌دهد تا تعادل بین عملکرد و هزینه را برقرار کند.

این سیستم در آزمایش‌های مرتبط نشان می‌دهد که نِمو سوئیچ یارد با تخصیص وظایف بین مدل‌های مختلف، در حالی که نرخ تکمیل وظایف بالایی را حفظ می‌کند، هزینه‌های عملیاتی عاملان هوش مصنوعی را به طور قابل توجهی کاهش می‌دهد. به عنوان مثال، در مقایسه با استفاده فقط از مدل‌های پیشرفته، راه‌حل مبتنی بر مسیریابی ارتقاء در آزمایش‌های چند دوری هوش مصنوعی LangChain حدود 74% هزینه را کاهش می‌دهد و تنها 7% از درخواست‌ها نیاز به فراخوانی مدل‌های پیشرفته دارند.

علاوه بر این، این سیستم با شرکت‌هایی مانند Cognition، Nous Research، Ramp، LangChain، LiteLLM و Kong همکاری کرده است تا نِمو سوئیچ یارد را در فرآیند توسعه عاملان هوش مصنوعی و زیرساخت‌های کاربردی شرکت‌ها ادغام کند.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.