Tencent Mixyuan veröffentlicht Hy3 1bit und 4bit Kompressionsversionen

Tencent Mixyuan hat die 1bit- und 4bit-Kompressionsversionen von Hy3 veröffentlicht, die die Bereitstellungsschwelle für das 2950 Milliarden Parameter-Modell erheblich senken. Das ursprüngliche Gewicht von Hy3 beträgt fast 600 GB, die 1bit-Version wurde auf 85,5 GiB verkleinert und kann mit einer einzelnen 96 GB NVIDIA H20-Grafikkarte betrieben werden. Bei der Nutzung einer einzelnen Karte müssen die Benutzer einige Beschleunigungsfunktionen deaktivieren und die Textlänge, die das Modell verarbeitet, verkürzen. Mit zwei H20-Grafikkarten kann die Beschleunigung aktiviert werden. Die 4bit-Version hat eine Größe von 169,9 GiB und benötigt mindestens zwei H20-Grafikkarten. Obwohl sie mehr Grafikspeicher benötigt, ist die Leistung näher am ursprünglichen Modell. Tencent Mixyuan gibt an, dass die 4bit-Version in Bezug auf Code, Toolaufrufe, das Verständnis langer Texte und Agentenaufgaben dem ursprünglichen Modell sehr nahekommt, während die 1bit-Version nur einen leichten Rückgang aufweist. Mit aktivierter Generierungsbeschleunigung erhöht sich die Geschwindigkeit der 1bit-Version um etwa 50 %, während die 4bit-Version um fast 60 % schneller wird. Darüber hinaus bietet Tencent Mixyuan auch eine 4bit-Version an, die für die Serverbereitstellung geeignet ist und als API erstellt werden kann, um mehreren Benutzern oder Anwendungen zur Verfügung zu stehen.

Haftungsausschluss: Dieser Inhalt wird nur zu allgemeinen Marketing- und Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle Events, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets oder zur Nutzung von Services betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. WEEX Services und Online-Aktionen sind möglicherweise nicht in allen Regionen verfügbar und unterliegen geltenden Gesetzen, Vorschriften und Berechtigungsanforderungen. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Nutzung von WEEX Services mit lokalen Gesetzen übereinstimmt, und sorgfältig die Risiken vor der Teilnahme an Krypto-bezogenen Aktivitäten zu bewerten.