GLM-5.3 Optimierungssystem mit 3,2-facher Durchsatzsteigerung

Der von GLM-5.3 betriebene Infra Agent hat am Optimierungssystem für die Inferenz von GLM-5.3-Flash teilgenommen, wodurch der End-to-End-Durchsatz auf das 3,2-fache des ursprünglichen Wertes gesteigert wurde. Tang Jie, Mitbegründer und Chief Scientist von Zhipu, stellte fest, dass der Agent häufig Schwierigkeiten hat, Probleme zu identifizieren. Obwohl er Änderungen erkennen kann, die zu einem Rückgang des Durchsatzes um 20 % führen, kann er die spezifischen Problemebenen nicht bestimmen. Aus diesem Grund hat Zhipu ein Tool entwickelt, das dem Agenten hilft, die Ergebnisse, den Zeitaufwand und die Effizienz von Codeänderungen selbst zu überprüfen. Durch diese Methode entdeckte der Agent Probleme wie Berechnungsfehler bei langen Kontexten, KV-Übertragungsblockaden und wiederholte Berechnungen im Dekodierkernel, wobei ein Kernel nach der Überarbeitung eine Beschleunigung um das 1,71-fache erzielte. Tang Jie ist der Ansicht, dass sich die Rolle der Ingenieure auf das Design von Feedback verlagern wird, wobei sie dafür verantwortlich sind, Ziele festzulegen und risikobehaftete Änderungen zu überprüfen, während der Agent Hypothesen, Codeänderungen und Experimente durchführt. Obwohl noch ein vollständiges RSI fehlt, hat sich bereits ein minimaler geschlossener Kreislauf gebildet, der das Konzept "Modelloptimierungssystem, das das Modell wieder bedient" widerspiegelt.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.