AMD مدل بزرگ MoE کاملاً متن باز Instella-MoE را با ۱۶ میلیارد پارامتر منتشر کرد

AMD در تاریخ ۲۵ ژوئیه مدل مخلوط متخصص کاملاً متن باز Instella-MoE را معرفی کرد که دارای ۱۶ میلیارد پارامتر کل است و برای هر توکن ۲.۸ میلیارد پارامتر فعال می‌کند و عملکرد پیشرفته‌ای دارد. این مدل بر پایه GPUهای AMD Instinct MI300X و MI325X و همچنین نرم‌افزار ROCm از صفر آموزش داده شده است و از نوآوری‌های معماری مانند Gated Multi-head Latent Attention و FarSkip-Collective استفاده می‌کند که کارایی آموزش و استنتاج را افزایش می‌دهد. تست‌های عملکرد نشان می‌دهد که مدل پایه Instella-MoE-16B-A3B به طور متوسط نمره ۷۶.۷ را کسب کرده و در بین مدل‌های کاملاً متن باز در رده اول قرار دارد و از مدل‌هایی مانند SmolLM3-3B و OLMo-3-7B پیشی گرفته است و در حالی که تنها ۲.۸ میلیارد پارامتر فعال است، با مدل‌های بزرگ‌تر رقابت می‌کند. این مدل از پردازش متن با طول ۶۴K توکن پشتیبانی می‌کند و فرآیند کامل آموزش شامل پیش‌آموزش، آموزش میان‌مدت، گسترش متن طولانی، تنظیم دقیق نظارتی، بهینه‌سازی ترجیحات مستقیم و یادگیری تقویتی را انجام می‌دهد. AMD به طور همزمان تمام وزن‌های مدل Instella-MoE، تنظیمات آموزشی، نسبت‌های داده، نقاط بازرسی میانی و کد استنتاج را منتشر کرده است تا تحقیقات و بازتولید مدل‌های هوش مصنوعی متن باز را پیش ببرد. AMD اعلام کرد که Instella-MoE توانایی آموزش مدل‌های بزرگ MoE را بر اساس سخت‌افزار AMD و اکوسیستم نرم‌افزار متن باز نشان می‌دهد و در آینده به توسعه مدل‌های زبانی متن باز با مقیاس بزرگ‌تر، توانایی استنتاج قوی‌تر و کارایی بالاتر ادامه خواهد داد.

سلب مسئولیت: این محتوا صرفاً برای اطلاع‌رسانی عمومی و برندینگ ارائه شده و به‌ منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌گردد. هیچ‌یک از رویدادها، جوایز، رویدادهای آنلاین یا اطلاعات مرتبط ذکرشده در اینجا نباید به‌عنوان توصیه، درخواست یا دعوت برای خرید، فروش، معامله یا هرگونه اقدام دیگر در رابطه با دارایی‌های رمزارزی یا استفاده از خدمات تلقی شوند. دارایی‌های رمزارزی با نوسانات بالایی همراه بوده و ممکن است منجر به زیان شوند. خدمات WEEX و رویدادهای آنلاین ممکن است در تمام مناطق در دسترس نبوده و مشمول قوانین، مقررات و شرایط احراز صلاحیت مربوطه هستند. شما مسئول رعایت قوانین محلی در استفاده از خدمات WEEX هستید و باید پیش از انجام هرگونه فعالیت مرتبط با ارزهای دیجیتال، ریسک‌های آن را به‌دقت بررسی کنید.