PrismML lance Bonsai 27B, un modèle AI de 27 milliards de paramètres adapté à l'iPhone

PrismML a lancé le modèle Bonsai 27B, le premier modèle AI de 27 milliards de paramètres capable de fonctionner sur des smartphones grand public. Ce modèle est compressé à 3,9 Go et peut fonctionner sur l'iPhone 17 Pro Max à une vitesse de 11 tokens par seconde. La variante ternaire est compressée à 5,9 Go et atteint 26 tokens par seconde sur un ordinateur portable M5 Pro. La technologie de compression est basée sur la propriété intellectuelle du California Institute of Technology, réduisant chaque poids de modèle de la précision flottante de 16 bits à seulement 1 positif ou 1 négatif, la variante binaire étant 14 fois plus petite que le modèle en pleine précision. Dans 15 tests de référence, le Bonsai 27B ternaire a obtenu un score moyen de 80,49, atteignant 94,6 % des performances du modèle en pleine précision. Ce modèle est publié gratuitement sous la licence Apache 2.0. Babak Hassibi, PDG de PrismML, a confirmé que l'entreprise est en pourparlers préliminaires avec Apple concernant la technologie de compression, avec pour prochaine étape la compression du modèle Gemma.

Avertissement : Ce contenu est fourni à des fins de communication et d'information générale uniquement et ne constitue en aucun cas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, événements en ligne ou toute information mentionnée dans ce document ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, échanger ou traiter de quelque manière que ce soit des actifs crypto, ni à utiliser un quelconque service. Les actifs crypto sont très volatils et peuvent entraîner des pertes. Les services et événements en ligne de WEEX peuvent ne pas être disponibles dans toutes les régions et sont soumis aux lois, réglementations et conditions d'éligibilité applicables. Il vous appartient de veiller à ce que votre utilisation des services WEEX respecte la législation locale et d'évaluer soigneusement les risques avant de participer à toute activité liée aux cryptomonnaies.