AMD veröffentlicht das vollständig Open-Source MoE-Modell Instella-MoE mit 16 Milliarden Parametern

AMD hat am 25. Juli das vollständig Open-Source Mischexpertenmodell Instella-MoE vorgestellt, das über insgesamt 16 Milliarden Parameter verfügt, wobei 2,8 Milliarden Parameter pro Token aktiviert werden und herausragende Leistungen bietet. Dieses Modell wurde von Grund auf mit den AMD Instinct MI300X und MI325X GPUs sowie dem ROCm-Software-Stack trainiert und nutzt architektonische Innovationen wie Gated Multi-head Latent Attention und FarSkip-Collective, um die Trainings- und Inferenzeffizienz zu steigern. Leistungstests zeigen, dass das Instella-MoE-16B-A3B Basismodell im Durchschnitt 76,7 Punkte erzielt und damit in der Rangliste der vollständig Open-Source Modelle führend ist, übertrifft Modelle wie SmolLM3-3B und OLMo-3-7B und konkurriert bei der Aktivierung von nur 2,8 Milliarden Parametern mit größeren Modellen. Das Modell unterstützt die Verarbeitung von langen Kontexten mit 64K Tokens und durchläuft den vollständigen Trainingsprozess, einschließlich Vortraining, Zwischentraining, Erweiterung des langen Kontexts, überwachten Feinabstimmungen, direkter Präferenzoptimierung und verstärktem Lernen. AMD hat gleichzeitig alle Modellgewichte, Trainingskonfigurationen, Datenverhältnisse, Zwischenprüfpunkte und Inferenzcodes von Instella-MoE veröffentlicht, um die Forschung und Reproduktion von Open-AI-Modellen voranzutreiben. AMD erklärt, dass Instella-MoE die Fähigkeit zur großflächigen MoE-Modellierung auf Basis von AMD-Hardware und offenen Software-Ökosystemen demonstriert und in Zukunft die Entwicklung von noch größeren, leistungsstärkeren und effizienteren Open-Source-Sprachmodellen vorantreiben wird.

Haftungsausschluss: Dieser Inhalt wird nur zu allgemeinen Marketing- und Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle Events, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets oder zur Nutzung von Services betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. WEEX Services und Online-Aktionen sind möglicherweise nicht in allen Regionen verfügbar und unterliegen geltenden Gesetzen, Vorschriften und Berechtigungsanforderungen. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Nutzung von WEEX Services mit lokalen Gesetzen übereinstimmt, und sorgfältig die Risiken vor der Teilnahme an Krypto-bezogenen Aktivitäten zu bewerten.