WASTE open source, Kimi K3 peut fonctionner sur un MacBook de 64 Go

La société de bases de données en périphérie SQLite AI a ouvert son moteur d'inférence WASTE, permettant à Kimi K3 de fonctionner entièrement sur un MacBook Pro de 64 Go. Le modèle converti occupe environ 1 To, avec une vitesse de 0,49 à 0,54 token par seconde. WASTE conserve environ 27 Go de la structure principale du modèle en mémoire, avec plus de 80 000 experts stockés sur le SSD intégré, ne lisant le disque dur que pour l'expert actuellement appelé lors de la génération de chaque token. Cette version n'a pas subi de distillation, de découpage ou de suppression d'experts, mais les poids des experts ont été re-quantifiés à 3 bits, tandis que la structure principale du modèle utilise des bits de 4 et 8.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.