AMD випустила повністю відкриту модель MoE Instella-MoE з обсягом параметрів 16 мільярдів

AMD 25 липня представила повністю відкриту модель змішаних експертів Instella-MoE, яка має 16 мільярдів загальних параметрів, з активацією 2,8 мільярдів параметрів на кожен токен, що забезпечує провідну продуктивність. Модель базується на графічних процесорах AMD Instinct MI300X та MI325X, а також на програмному стеку ROCm, і була навчена з нуля, використовуючи інновації в архітектурі, такі як Gated Multi-head Latent Attention та FarSkip-Collective, що підвищують ефективність навчання та інференції. Тестування продуктивності показало, що базова модель Instella-MoE-16B-A3B має середній бал 76,7, що ставить її на провідні позиції серед повністю відкритих моделей, перевершуючи такі моделі, як SmolLM3-3B та OLMo-3-7B, і конкуруючи з більшими моделями при активації лише 2,8 мільярдів параметрів. Модель підтримує обробку довгого контексту до 64K токенів, завершуючи повний процес навчання, включаючи попереднє навчання, середнє навчання, розширення довгого контексту, контрольовану тонку настройку, пряме оптимізування переваг та навчання з підкріпленням. AMD також опублікувала всі ваги моделі Instella-MoE, конфігурації навчання, співвідношення даних, проміжні контрольні точки та код для інференції, сприяючи дослідженню та відтворенню відкритих AI моделей. AMD заявила, що Instella-MoE демонструє можливості навчання масштабних моделей MoE на основі апаратного забезпечення AMD та відкритої програмної екосистеми, і в майбутньому продовжить розвивати відкриті мовні моделі з більшими масштабами, потужнішою інференцією та вищою ефективністю.